今技術者界隈で大炎上しているコインハイブの有罪判決問題ですが、直感的に「違法なのでは？」と感じる人が多いようなのでなんでこんなにみんな大騒ぎしているのか簡単に説明したいと思います 注意：僕の法律知識はLv3くらいなので、僕よりもっと詳しいはてぶやnote、Twitterにいらっしゃるような「法律にもITにも詳しい先生方」による、もっとずっと分かりやすく正確な記事が出るまでのつなぎくらいの気持ちで読んでもらえると嬉しいです。というか、専門家の人早く一般向けの記事を出して下さい 大前提としてIT技術者の中でも「2020年の今の段階でコインハイブの無許可マイニングは違法/もしくはそれに近いのではないか？」と考える人が大半だと思います。「？？？みんな有罪はありえないって言ってるじゃん」と思った方も多いと思いますので詳しく説明します 追記： 法律に詳しい人達との意見の食い違いの原因が理解できたので、
RjpWiki - RjpWiki
RjpWiki はオープンソースの統計解析システム R に関する情報交換を目的とした Wiki ですRjpWiki はオープンソースの統計解析システム 《R》 に関する情報交換を目的とした Wiki です † どなたでも自由にページを追加・編集できます． (初めて投稿・既存記事への追加・修正を行なう方はこのページ末の注意*1を御覧下さい) ページへのファイル添付については、画像ファイルのみパスワードなしで可能としてあります(ページ上部「画像添付」より)。その他のファイルの添付はパスワードを入力することで可能です(ページ上部「ファイル添付」より)。現在のパスワードは, Rでの round(qt(0.2,df=8),3) の実行結果です。 スパム書き込みに対処するため、書き込み系の処理に対してパスワードを設けました。ユーザ名の欄には，Rで round(qt(0.2,df=8),3) を実行
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
MySQLクイック・リファレンス
この文書は、osCommerceで使用しているデータベースMySQLの基本的な使い方について解説しています。おもにデータベースの管理者よりも、ユーザに向けて書かれています。 はじめに ここでは、MySQLサーバは起動しているものとして説明します。 MySQLの文字について MySQLでは、データベース名やテーブル名の大文字と小文字を区別しています。それ以外は区別しません。 MySQLのフィールド名やテーブル名に使える文字は、英数字と_（アンダーバー）、$、サーバのキャラクタセットにある文字です。 知っておきたいコマンド mysqladmin（データベースの作成・削除や、MySQLサーバの情報を得る） mysqlshow（データベース、テーブルの情報を表示する） mysql（MySQLクライアントの起動） mysqldump（データベース、テーブルをダンプする） myisamchk（テーブル
ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。 それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。 一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは
INDEX はじめに PageRank の基本概念 どうやって PageRank を求めるか 現実に適用する際の問題 Namazu での実装実験 PageRank に対する個人的見解 参考文献 おまけ：「グーグル？／ゴーグル？」 Since: Thu Feb 1 18:22:44 JST 2001 Last Refreshed: Sat Jan 24 18:30:35 JST 2004 ★(2004/1/24) Yuan Huanglin氏によって 本ページの中国語訳 が作成されました。 ★(2003/7/1) 拙著『Namazuシステムの構築と活用』を改訂しました。 詳しくは サポートページをご覧ください。 ★(2003/5/20) Google に関するオンラインニュース記事一覧(日本語記事のみ)を 別ページ(googlenews.html) として分離しました。 ★(2001/2/
九州商船の「弊社WEB予約サービスに対する不正アクセスに関する最終報告」は全てのエンジニアに読んでほしい - orangeitems’s diary
最終報告書を読む 九州商船株式会社のWEB予約サービスに対する不正アクセスについて、最終報告書が公開されました。報告書を読ませていただきましたが、その内容に関して大変勉強となることが多く含まれています。 弊社WEB予約サービスに対する不正アクセスに関する最終報告｜九州商船 ※ITmediaでニュースにもなっていましたので追記しておきます。 japan.zdnet.com 不正アクセスの目的は、linuxに不正侵入し仮想通貨マイニングを行うというものです。データを盗み出すのではなくマイニングというところが2018年っぽいです。ただCPUが100%に張り付くのですぐに見つかってしまっていますが。 この報告書について考察してみます。 原因についての考察 原因はvsftpdで使っているFTPプロトコルをANYで開けていて、ブルートフォースでパスワードが割れてしまったこと。かつ、OS/ミドルウェアの
vNext Build fails with error message ‘Cannot find solution’ because it does not exist. - MSDN Blog
In Visual Studio 2022 17.10 Preview 2, we’ve introduced some UX updates and usability improvements to the Connection Manager. With these updates we provide a more seamless experience when connecting to remote systems and/or debugging failed connections. Please install the latest Preview to try it out. Read on to learn what the Connection ...
独創的発想で活躍している若手エンジニアを探し出して紹介するこのシリーズ！今回登場するのは、日本初のSNSサービスで今や、1110万人を超えるユーザーを有する『mixi』で、膨大なコンテンツの検索システムを自社開発した研究開発グループの若手マネージャーだ。 1978年生まれ。立命館大学政策科学部を卒業後、01年に大手OA機器メーカーに入社。システムエンジニアに。独立行政法人情報処理推進機構(IPA)の2004年度第2回未踏ソフトウェア創造事業で、全文検索システム「Hyper Estraier」を開発、スーパークリエータに認定される。2006年6月、ミクシィ入社。研究開発に従事。 株式会社ミクシィ 2004年2月から日本初のSNS（ソーシャル・ネットワーキングサービス）として『mixi』を展開。「居心地の良いサイト」「身近な人や趣味・興味が同じ人との交流」をコンセプトに開発、人気を集め、今や1
Author:くるぶし（読書猿） twitter:@kurubushi_rm カテゴリ別記事一覧 新しい本が出ました。 読書猿『独学大全』ダイヤモンド社 2020/9/29書籍版刊行、電子書籍10/21配信。 ISBN-13 : 978-4478108536 2021/06/02 11刷決定 累計200,000部（紙＋電子） 2022/10/26 １４刷決定 累計260,000部（紙＋電子） 紀伊國屋じんぶん大賞2021 第３位 アンダー29.5人文書大賞2021 新刊部門 第１位 第２の著作です。 2017/11/20刊行、４刷まで来ました。 読書猿 (著) 『問題解決大全』 ISBN:978-4894517806 2017/12/18 電書出ました。 Kindle版・楽天Kobo版・iBooks版 韓国語版 『문제해결 대전』、繁体字版『線性VS環狀思考』も出ています。 こちらは１０刷
「今、ゲーミングPCを組むなら15万円」――1年前から変わった常識：古田雄介のアキバPick UP！（1/4 ページ） 夏休みはPCパーツの一式買い需要が増える。ただ、2021年の8月は「思っていた予算でゲーミングPCが組めずに涙をのんだ学生さんがいました」という話をちらほら聞いた。 原因は9割方グラフィックスカード――夏休みに涙をのんだ学生さんも 2021年に入ってPCパーツ、特にグラフィックスカードの値上がりが続いており、ゲーミングPCを組むトータルコストが上昇していることが背景にある。あるショップは「1年前は『予算10万円でゲーミング！』と売り出していたんですが、今はほぼ不可能なお題になってしまいましたね」と嘆く。 振り返れば、2020年6月には特別定額給付金（10万円）を元手に自作マシンを組むブームが起きていた。あれから、ゲーミングPCの最低ラインによく挙げられるGeForce G
こんにちは。ディレクターの川原田です。 クックパッドでお気に入りレシピを保存する「MYフォルダ」のサービス開発や、保存・記録に関する新規サービスの検討・開発を担当しています。 ディレクターの仕事は様々ありますが、今回は私が身につけたことで仕事領域が広がった！と感じているSQLについてお話ししたいと思います。 いきなりですが、SQLが使えてよかった点をまとめると以下です。 よかったこと 数値抽出から分析まで自己完結 エンジニアとのコミュニケーションがスムーズに 仕事が増えていそうで実は効率アップ 周囲の知的好奇心を刺激 それぞれ具体例を交えてお話します。 数値抽出から分析まで自己完結 事例１：ログ構造を理解でき後の仕事がスムーズに 昨年、アプリのサービス開発を担当した際、エンジニアの設定したログが、実際に送信されるかどうかを事前チェックをしました*1。 アプリのリリースはタイミングが決められ
こんにちは、みんなのウェディングに出向中の小室 (id:hogelog) です。 今回はクックパッドとみんなのウェディングで利用しているデータベースドキュメント管理システム dmemo を紹介します。 https://github.com/hogelog/dmemo dmemo を作成し導入した経緯 私は2016年3月頃からみんなのウェディングで Redshift, bricolage, embulk, re:dash 等を利用したデータ分析基盤の構築を進めています。 (みんなのウェディングのデータ分析基盤の現状 - みんなのウェディングエンジニアリングブログ) 社内の誰でも扱えるデータベース、データの集約・計算・加工、ダッシュボードの作成、クエリの共有などは上記ブログ記事でも書いたように Redshift, bricolage, embulk, re:dash 等を組み合わせることで実現
テキストマイニング技術の活用に向けて読んでおきたい12のプレゼン資料 - コーパスいぢり 〜langstatの研究日誌〜
春の伊予国漫遊記。松山・今治と愛媛の魅力を満喫してきました。 法事を兼ねて愛媛観光へ 2024年のGWは、毎年恒例の名古屋帰省ではなく自宅でゆっくり過ごしておりました。というのも、4月に法事のため愛媛・松山に親族大集合というイベントがありまして、そちらをGWの旅行代わりにしたという理由です。法事は日曜日の予定ということ…
スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様々な工夫が必要になってきます。本セッションでは、会社の成長に応じたログ集計基盤の転換を振り返りながら、世界進出にあたってどのようなことを考え、どのようにログ集計基盤をリニューアルしていったか、および、そのログ解析基盤を支える Amazon EMR, Hive, Presto, Azkaban, Shib, Chartio などのツールについてお話します。
ヨーカドーはやばい
先日、引越しをした。引越し先の駅前にはバス乗り場があり、そこからシャトルバスに乗ることができる。ヨーカドー行きの無料バスだ。 ヨーカドーは駅前から15分の少し離れた場所にあるが、かえって住宅地に近いといえる好立地だ。ここには衣類、食料品、生活雑貨はもちろんのこと、薬、化粧品、書籍、CDやDVD、美容院、歯科、眼科、クリーニング、靴の修理、マッサージ、旅券の購入など、生活するうえで必要なありとあらゆるものが集積されている。 若者はヨーカドーの中のゲームセンターでプリクラを撮り、ヨーカドーの中のボウリング場でデートを楽しんでいる。家族連れはヨーカドーの中のマクドナルドでハッピーセットを注文している。爺さんはヨーカドーの中の保険屋で50歳から入れる保険の説明を熱心に聞いている。ヨーカドーには生活の全てがある。 昔は個人商店や中堅の商店も近所にあったと聞くが、ヨーカドーの出現が全てを変えてしまった
', CAPTIONSIZE, 2, BGCOLOR, '#AAAAAA', FGCOLOR, '#ffffff', TEXTCOLOR, '#000000', WIDTH,200);" onmouseout="window.status=''; return nd(1000);">
次のサービスや製品はどれも身近にありますが、これらに共通していることはなんでしょう。 Amazonの「この商品を買った人はこんな商品も買っています」 はてなブックマークの「関連エントリー」 Google 翻訳 Google 日本語入力 メールクライアントのスパムフィルタ デジタルカメラの自動顔認識 ニンテンドーDSの手書き文字認識 買い物履歴、ユーザが書いたコメントやタグ、Webに無数にあるページ、メール、画像や動画と対象はそれぞれ異なっていますが、どれも「データから有益な情報を取り出す」ということを行っています。 これらは「機械学習」という技術を使って実現されているのです。 機械学習の応用範囲 機械学習は冒頭で挙げた以外にも、様々な分野で使われています。 例えば、ノイズ除去や特徴の抽出を目的とした利用パターンがあります。音声認識や画像認識、文字認識（OCR）などはその代表格です。それらも
シネマアナリティクス ： ゼロから分析力を磨きたい人に観てほしいマニアック映画5つ（洋画編） - ネガティブにデータサイエンティストでもないブログ
夏も終わり、カキ氷屋の清算と後片付けもさめやらぬ中、オリンピック景気の経済余波で謀殺されてたので、今回は世間ズレした血迷いネタです。他でやっとけって話なのは重々承知です。ごめんなさい。ただその、缶詰めな仕事帰りに、魂のスパロボ映画、パシフィック・リムを視て最高だったんですよ。今年ベスト級。頭の中ではどうしても、バグフィックス・ムリに置換されるからきっと疲れているんです。 映画が大好きです。ストレス発散に映画館（私のお気に入りは有楽町界隈です）、仕事の休憩にレンタルと、仕事が多忙だろうとも月に10～20本は見ている暇人です。言い訳すると実務に直結した理由もあるにはあるのですが、さておき、出張時の長い移動時間のお伴だったり、マシンルームでの休息＆仮眠がてらだったり、隙を見つけては観ています。 それでも、一日中Youtubeやニコ動で時間潰ししているバーンアウト管理職や、毎日TEDを見てはパワポ
回転寿司最大手の「スシロー」がデータ分析で成果を上げている。店舗に「回転すし総合管理システム」を導入し、1分後と15分後に必要な握りネタと数を常に予測。店長の勘と経験にIT（情報技術）の力を加味し、食べたい握り寿司をタイムリーに提供する。システムの導入で、回転して時間が経った皿が減り、廃棄量は4分の1ほどになった。JR川崎駅にほど近い「スシロー」のミューザ川崎店（川崎市）。ここはスシローでもト
グーグル発「Hadoop」、日本企業も利用へ
Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムを基に開発された、オープンソースソフトだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモルガン・チェースのような大手金融機関が、バッチ処理にHadoopを使用する。 そのHadoopがいよいよ、日本企業でも使われ始めた。例えば楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」にHadoopを使用する。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムの構築にHadoopを採用した。三菱UFJインフォメーションテクノロジーもHadoopを使っ
Introduction The Open Graph protocol enables any web page to become a rich object in a social graph. For instance, this is used on Facebook to allow any web page to have the same functionality as any other object on Facebook. While many different technologies and schemas exist and could be combined together, there isn't a single technology which provides enough information to richly represent any
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
仮想通貨相場の下落が続いている。代表的な仮想通貨ビットコインは一時１ビットコインあたり４０万円を割り込み、昨年８月以来１年４カ月ぶりの低水準となった。昨年１２月の最高値２００万円超の５分の１以下だ。通貨として利用されるのではなく投機対象となっているが、相次ぐ不正流出や規制強化などで逆風にさらされ、投機としてのうまみも失われつつある。 仮想通貨交換業者ビットフライヤーのデータによると、７日は前日比６％安の３８万円台に下落。週明け１０日はやや戻した。 １月のコインチェックでの不正流出事件後、金融庁は仮想通貨業界への規制を強化し、相場は冷え込んでいる。一時は次世代の通貨といわれたが、通常の決済ではほとんど使われず、投機目的の売買が目立った。ビットコイン相場は昨年１年間で２０倍も上昇したが「バブル」ははじけた。 相場下落には別の要因も指摘される。ビットコインは、「ブロックチェーン」と呼ばれるシステ
企業が所有する水力発電所が、設備をフルパワーで稼働させても電力を十分に生み出せないことから「電力会社に電気を販売するよりビットコインのマイニングを行う方が得」と判断して、実際に電力の一部でマイニングを行っているということが報じられました。 Mechanicville hydro plant gets new life https://www.timesunion.com/news/article/Mechanicville-hydro-plant-gets-new-life-16299115.php Historic Power Plant Decides Mining Bitcoin Is More Profitable Than Selling Electricity | Tom's Hardware https://www.tomshardware.com/news/restored
最近では主要なメディアEthereumが出るようになってきました。Ethereumを聞いたことがあってもよくわからんという人が多いと思います。 また、AmazonがEthereumの名前のついたドメイン名を取得したというニュースも、なぜかBitcoinのイラストが表紙になってしまうのが現状です。理由は、EthereumよりBitcoinのほうが大衆の関心を掴みやすいからでしょう。 そんなEhereumですが、2018年は大手メディアが解説をし始めたり、解説本が出たりとする年になるでしょう。2017年のビットコインと同じように時代を飾ると予想しています。そんな時期にEthereumについて知っていたほうがいい！ということでこのポストを書きました。 基本はこちらのブログポストとEthereumのイエローペーパーを翻訳・解説しながら仕組みにせまっていきます。図も同ブログポストとホワイトペーパーか
自然言語処理をサービスで活用しよう！ Sansanに学ぶ「多種多様なテキスト」からのデータ分析｜ハイクラス転職・求人情報サイト AMBI（アンビ）
自然言語処理をサービスで活用しよう！ Sansanに学ぶ「多種多様なテキスト」からのデータ分析 自然言語処理をサービスに投入し、“できること”とは？名刺管理サービス「Sansan」を提供するSansan社では、名刺に記載された情報のデータ化において、自然言語処理を徹底的に活用しています。同社のデータ統括部門DSOCで日夜研究を続ける奥田裕樹さんと高橋寛治さんの2人に、サービスの裏で動く、自然言語処理のユースケースを語っていただきました。 名前や企業名、電話番号、メールアドレス──。名刺のなかには、重要な個人情報がテキストの形で記載されています。 そういった情報や企業のWebページ情報などを解析し、ユーザーに有効活用してもらうべく研究開発を続けているのが、法人向けクラウド名刺管理サービス「Sansan」や個人向け名刺アプリ「Eight」を提供するSansan株式会社です。同社はいわば、日本で
あけましておめでとうございます。 本年もよろしくお願いいたします。 主成分分析 さて、昨年の終わりごろから、私は仕事で主成分分析を行っています。 主成分分析というのは、多次元のデータを情報量をなるべく落とさずに低次元に要約する手法のことです。 主成分分析は統計言語 R で簡単にできます。 例として iris データで実行してみましょう。 data(iris) data <- iris[1:4] prcomp.obj <- prcomp(data, scale=TRUE) # 主成分分析 pc1 <- prcomp.obj$x[,1] # 第一主成分得点 pc2 <- prcomp.obj$x[,2] # 第二主成分得点 label <- as.factor(iris[,5]) # 分類ラベル percent <- summary(prcomp.obj)$importance[3,2] *
日本最大の動画投稿サービス「ニコニコ動画」は、動画上を流れるコメントや、自由に編集できるタグ機能といった特徴を持ち、単なる動画共有サービスにとどまらず、コミュニティサイトとしての側面も持つ。多くの人がアクセスする中で「アイドルマスター」「初音ミク（VOCALOID）」「東方プロジェクト」など、いろいろなムーブメントが生まれてきた。 今も毎日多くの動画が投稿されており、各動画は「再生数」「コメント数」「マイリスト数」などの情報がわかるようになっている。すでに投稿動画数は200万本を超えるが、これら膨大なデータを分析することで、どんな現象やコミュニケーションが起きているのかを明らかにしようとするのが今回の発表会の目的である。 分析する際の2つの障壁 独自にデータ収集が必要であること しかし、そもそもニコニコ動画自体はデータを分析しやすいように広く提供しているわけではない。1つ1つの動画の再生数
データサイエンティストの定義は？必要スキルは？現役データエンジニア／アナリストと考えた結論 - エンジニアHub｜若手Webエンジニアのキャリアを考える！
データサイエンティストの定義は？必要スキルは？現役データエンジニア／アナリストと考えた結論 需要が高まるデータサイエンティストというロールですが、業務の定義や、必要スキルは一体どのようなものでしょうか。3名のデータエンジニア／アナリストに実践から得た答えを聞きました。 データエンジニアとデータアナリストの違い 分析と実装。データサイエンティストに求められる要件 数学の素養が重要。技術は仕事で身につけられる！ データエンジニア／アナリストが考える必要なスキルセット データアナリスト・データエンジニアにとっての「事業貢献」 「データサイエンティスト」という肩書を耳にすることが増えています。 データの蓄積はとどまるところを知らず、さらにビジネスにおけるデータの重要度が増し続ける現在、同職が同じく重要になっていることは想像に難くないでしょう。 反面、データサイエンティストが現場で何をしているかは、
ソシャゲへの反感はワインの方程式が生んだ反感と同じ ?ゲームと心理学（2） | 新清士の「デジタルと人が夢見る力」 - コミニー[Cominy] / ブログ
プロフィール 新清士 ジャーナリスト。立命館大学映像学部非常勤講師。1970年生まれ。慶應義塾大学商学部及び環境情報学部卒。著書に、『ゲーム産業の興亡』（アゴラブックス）。 2008年に、プリンストン大学の経済学者オーリー・アッシェンフェルターが発表した論文「ボルドーワインの質と価格を予想する（Predicting the Quality and Prices of Bordeaux Wines）」という論文は、ビンテージワインの専門家に対して、とどめを刺すとでもいえるような論文だ。 ビンテージワインは同じブドウ園で生産されたワインであっても、年によって出来不出来があるために、値段が変化する。品質によっては、10倍以上の差が生まれることがある。世界中にはワインコレクターがおり、将来にワインが成熟して評価が高まることで、値段が高くなることを見越して投機の対象として購入している人々もいる。 実
Masanori TakanoSystem Engineer, Technology Researcher at CyberAgent, Inc.
石井准教授の作成した「統計解析ソフトRのスクリプト集」をオンラインで公開します。名古屋大学教育学部の「心理・教育の統計学」の授業で実際に使用されている教材です。学習・研究にご活用下さい。 2016.4.5 Ver. 4.0βを公開しました。棒グラフオプション、オメガ係数、効果量、標本サイズの推定などの記述が加わりました。 2015.3.18 Ver. 3.0βを公開しました。記述統計量の算出の部分を統一的にしたのと、データ例を書籍にあわせて変えています。 2014.11.4 Ver. 2.2βを公開しました。 統計解析ソフトＲのスクリプト集 (PDF) 下記のサイトでは、シラバスと講義資料が公開されています。あわせてご活用下さい。 「心理・教育の統計学」（名大の授業） 講義資料 (PDF) ーーー はじめに 石井秀宗 この冊子は，心理学や教育学の研究でよく用いられる統計手法に関して，統計解
5月7日に，池江選手がSNS上で様々な声を受けていることをツイッター上で表明しました． 以前ツイッター上ではあまり批判の声はなかったという記事を書きましたが，直接心無い声が寄せられていた事実を見逃していた点を反省しています． そこで，今度は直接池江選手のツイッターアカウントに向けて送られたリプライを分析してみました．4月1日から5月9日10時までの池江選手に向けたリプライが含まれていて，かつ公開状態になっていて誰にでも確認可能な10,738ツイートを収集しました．なお，こちらにはダイレクトメッセージは含まれていませんし，既に削除済みのツイートも含まれておらず，Twitter社の規約により使用可能となっているツイートとなります． リプライ数の変化まず，池江選手に向けて送られたリプライ数を一日ごとに集計してみました．その結果がこちらです． 池江選手のアカウントへのリプライ数(著者作成) まず，
2023年版：実務データ分析を手掛けるデータサイエンティスト向け推薦書籍リスト（初級6冊＋中級8冊＋テーマ別15冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出
これまでデータ・サイエンティストの選ぶプログラミング言語はRだったのだが、急激にPythonに置き換わろうとしている。 このシフトの理由はいくつかあるようだが、第一にはPython自体が汎用的で比較的学びやすい言語であるのに対し、Rが習得するにあたってやや複雑であることがあげられるだろう。 データにますます依存しつつある現代社会とデータに飢えたサイエンティストにとっては「簡単さ」こそが鍵となるのだ。 Rは実際にはプログラミング言語ではないRを覚えることに苦労する人が多い理由として考えられるのは、Rが実際にはプログラミング言語ではないからかもしれない。R専門家のジョン・クックいわく、Rとは「統計のためのインタラクティブな環境」であり、厳密にはプログラミング言語ではないのだ。彼はさらに「Rをプログラミング言語だと考るのではなく、Rがプログラミング言語を内包しているのだと考えた方が良いと分かった
こんにちは。検索・編成部の原島です。 大学の研究者にお会いすると、「クックパッドのデータを研究に使用したいんですが...」と相談されることがあります。料理に関する研究をしているけれど、実際のデータがないため、なかなか研究が進まないという相談です。 料理に関する研究が進まないのは、クックパッドにとっても残念なことです。これらの研究は、クックパッドのサービスを改善するための「芽」でもあります。データがないだけで芽が育たないのは、非常に悲しい話です。 このような現状を打破するため、本日から、クックパッドのデータを研究者に公開します。このエントリでは、我々が準備してきたデータ公開の仕様について QA 形式で解説します。 誰が利用できるの？ 申請していただいた研究者です。ただし、公的機関（e.g. 大学、独立行政法人）の研究者に限ります。申請時には、クックパッドと国立情報学研究所（後述）による審査が
PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
なんでコインハイブ事件が有罪だとヤバイの？人のPCでお金儲けしてたんだから有罪でしょ！って人に簡単に説明する ver 0.22｜せせり｜note
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク
Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio
Google の秘密 - PageRank 徹底解説
mixiの検索システムを開発する29歳スーパークリエータ｜【Tech総研】
サヨナラ検定、グッバイ統計的有意性／統計を使うつもりなら必読の論文はこれ
「今、ゲーミングPCを組むなら15万円」――1年前から変わった常識
ディレクターがSQLを使えてよかった話 - クックパッド開発者ブログ
データベースドキュメント管理システム dmemo のご案内 - クックパッド開発者ブログ
スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech
A Periodic Table of Visualization Methods
第1回 機械学習 ことはじめ | gihyo.jp
スシロー、ビッグデータ分析し寿司流す 廃棄量75%減 - 日本経済新聞
Open Graph protocol
Treasure Data - naoyaのはてなダイアリー
ビットコイン、はじけたバブル 最高値の２割以下に（朝日新聞デジタル） - Yahoo!ニュース
発電所が「ビットコインマイニングの方が電力販売より稼げる」とマイニングを開始
Ethereumはどのように動いているのか - The Coffee Times
主成分分析が簡単にできるサイトを作った - ほくそ笑む
「膨大なデータを分析して見えてくること」ニコニコ動画データ分析研究発表会
逆転有罪のコインハイブ事件、判決詳報 弁護側は「不当判決」と憤りあらわ - 弁護士ドットコムニュース
野良ビッグデータへのお誘い
「統計解析ソフトRのスクリプト集」公開のお知らせ - 心理発達科学専攻からのお知らせ
池江璃花子選手への五輪出場辞退要請は誰が行っているのか（鳥海不二夫） - エキスパート - Yahoo!ニュース
データ・サイエンスのプログラミング言語はRからPythonに置き換わる | readwrite.jp
クックパッドのデータを研究者に公開します - クックパッド開発者ブログ
「大量に見えるTwitterの誹謗中傷、実はごく少数」を可視化できるツールが有能と話題【やじうまWatch】
