経済学者がビッグデータに熱心でない理由 - himaginary’s diary
BOEチーフエコノミストのアンドリュー・ホールデンが、ビッグデータをテーマに講演している（H/T Mostly Economics）。 その中で、ビッグデータに対する経済学者とデータサイエンティストの態度の違いについて以下のように述べている。 The first thing to say is that Big Data and data analytic techniques are not new. Nonetheless, over recent years they have become one of the most rapidly rising growth areas in academic and commercial circles. Over that period, data has become the new oil; data analytic techniq
なぜデータ基盤を作ったのか？「ゼクシィ縁結び・恋結び」で必要になった理由
システム、プロセス、カルチャーをいかにエンジニアリングするか 本連載『開発現場に“データ文化”を浸透させる「データ基盤」大解剖』では「データ基盤」の構築事例を紹介します。具体的には、オンライン婚活サービス「ゼクシィ縁結び」ならびにその姉妹サービス「ゼクシィ恋結び」の開発現場において、筆者が実際に行ったことを題材としています。 データ基盤を実際に構築するのは容易ではありません。構築したデータ基盤を実際に利用し続けてもらうのはさらに難しいことです。 多くの関係者がデータを加工すると、似ている意味を持っていても微妙に異なるデータが生成されてしまい、どのデータが正しいのか誰も分からなくなってしまいます。きちんと全員に使われるためにはデータの持つ意味や加工ロジックを誰かが整理しなければいけません。 また、モダンなツールを使って派手なダッシュボードを構築しても、それだけでは1週間後には誰も見なくなって
Wes McKinney - Announcing Ursa Labs: an innovation lab for open source data science
Announcing Ursa Labs: an innovation lab for open source data science Funding open source software development is a complicated subject. I’m excited to announce that I’ve founded Ursa Labs (https://ursalabs.org), an independent development lab with the mission of innovation in data science tooling. I am initially partnering with RStudio and Two Sigma to assist me in growing and maintaining the lab’
Why so many data scientists are leaving their jobs
Yes, I am a data scientist and yes, you did read the title correctly, but someone had to say it. We read so many stories about data science being the sexiest job of the 21st century and the attractive sums of money that you can make as a data scientist that it can seem like the absolute dream job. Factor in that the field contains an abundance of highly skilled people geeking out to solve complex
グーグル検索が露わにする人間のヤバイ本性
事件の4日後、オバマ大統領（当時）は国民向け演説で「差別を拒むことは、宗派を問わずすべての米国人の責務」と語り、「自由は恐怖に勝ることを忘れないよう」呼びかけた。「タフで冷静」、「恐怖に判断力を曇らせられないよう促した」。人々の良心に語りかけ、受容と寛容の重要性を説いた演説はメディアに称賛された。 しかし、著者らがグーグル検索のデータを分析したところ、異なる実態が浮かび上がってきた。イスラム教徒を「テロリスト」「悪人」「暴力的」「邪悪」などのワードと結びつけた検索が、演説終了後に倍増していたのだ。 データ分析が浮き彫りにする事実 本書『誰もが嘘をついている ビッグデータ分析が暴く人間のヤバい本性』は、グーグルのデータサイエンティストや大学の客員講師などを勤めてきた人物が、データ分析が浮き彫りにする事実やそのインパクトについて縦横無尽に語った一冊である。著者がメインに取り組むグーグル検索分析
R, Python, SAS, SPSSをヨーロッパのデータサイエンティストの視点で比べてみた - Qiita
先日、第３の波ーAI、機械学習、データサイエンスの民主化という記事の中でも話したように、今では世界中のどこでもデータサイエンスの世界ではRもしくはPythonといったオープンソースのプログラミング言語やツールが広く使われるようになりました。 実際私たちも特にシリコンバレーの様々なタイプのお客様と接することが多々ありますが、最近ではいよいよSASもしくはSPSSといった古くからあるエンタープライズ向けのデータ分析・統計ツールを会社で使用するためにかかる莫大なコストを見直すという圧力が日々大きくなっているようで、新規のプロジェクト、もしくは新規に雇用された人たちがそういった経費の承認を得るのは基本的にありえないか、あってもかなり大変らしいです。で、結局、どうせSASもしくはSPSSを使ってやろうとしてることは何でもRもしくはPythonを使ってできてしまうし、さらにもっと多くの最先端のアルゴリ
Cloudera Data Science Workbench：企業向けセルフサービスデータサイエンス
原文：Cloudera Data Science Workbench: Self-Service Data Science for the Enterprise 原著者：Matt Brandwein, Tristan Zajonc 翻訳：有賀 私たちは機械学習の黄金時代に突入しています。それはすべてデータに関するものです。 データの量が増え、計算とストレージのコストが低下し続けることで、世界最大の問題を解決する機会はこれまでになく増えました。 当社のお客様は、すでに高度な機械学習を使用して自動運転車を構築し、病院での新生児のケアを改善し、金融犯罪の防止や、サイバー攻撃の脅威と戦っています。 しかしこれは始まりに過ぎません。 Clouderaでは、お客様がデータを活用することで実現できる限界を広げるためのご支援を行い続けています。 本日、エンタープライズにおいても高速で使いやすく、セキュアな
有力ネットサービスで超バカバカしいことを大マジメにやる理由
ビッグデータの残酷な現実 ハーバード数学科を卒業後、仲間と創業した世界最大級の出会いサイト。そこから生み出された膨大なビッグデータから、普段は決して明かされることのない願望、恋愛、性的指向、容姿、偏見、アイデンティティ……本当のあなた自身が見つかる！ ニューヨークタイムズをはじめ、全米メディアが絶賛する世界的ベストセラー。 http://diamond.jp/category/s-hitotokigyou バックナンバー一覧 データサイエンティストのクリスチャン・ラダーは、世界最大級の出会いサイトを運営するうえで、時に壮大なムダとも思えるような実験を行っていた。8月4日に発売された新刊『ハーバード数学科のデータサイエンティストが明かす ビッグデータの残酷な現実』の著者であるラダーのアプローチについて、前回に続き、ニュース配信サービス「スマートニュース」のデータサイエンティストたちに聞いてみ
On the Importance of Community-Led Open Source
Data ScienceOn the Importance of Community-Led Open Source Domino2018-07-16 | 33 min read Wes McKinney, Director of Ursa Labs and creator of pandas project, presented the keynote, "Advancing Data Science Through Open Source" at Rev. McKinney's keynote covered open source's symbiotic relationship with data science and the importance of community-led open source. This blog post includes distilled hi
p値を計算したくなる検定の数々を試しにStanによるベイジアンモデリングで代替してみた - 渋谷駅前で働くデータサイエンティストのブログ
この記事は、やたらはてブを稼いでしまった前回の記事の続きです。 ASAのプレスリリース及び声明の中には、確かに「p値に依拠しない新たなアプローチの例」として予測値を重視するアプローチ*5、ベイジアンモデリング、決定理論的アプローチ*6およびfalse discovery rate*7といったものを用いるべき、という趣旨のコメントが入っています。とは言え、重回帰分析とか機械学習のような多変量モデリング（なおかつサンプルサイズも大きい）を伴うテーマならともかく、統計学的仮説検定のようなサンプルサイズも小さい（データも少ない）シチュエーションでどうやるんだよ的な疑問を持つ人も多いのではないかと。 そんなわけで、実際にそれっぽい各種検定の数々をStanによるベイジアンモデリングで代替してみたので、この記事ではその結果をつらつら紹介してみようと思います。テーマは前々回のこちらの記事の1節で取り上げた
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stop Hiring Data Scientists.
「千羽鶴」という単語を９ヶ月全件監視し続けて気づいたこと「自分より劣った他者を蔑むことで得られる感情があるのかもしれない」
Intel iQ Japan -
The Analytics Lab - Cmotions