サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
掃除・片付け
qiita.com/KanNishida
最近、GoogleのChief Decision Scientistという役職につくCassie Kozyrkovが「Top 10 roles for your data science team (データサイエンス・チームに必要な10の役割)」という記事を出していました。 先日別の記事、「Airbnbで必要とされる3つのデータサイエンスの仕事のタイプ」の方でAirbnbではデータサイエンスの仕事を最近3つにわけてチームを作りそれに基づいて採用しているという話をしましたが、Airbnbの場合は実際にデータサイエンスをビジネスの現場で行っているチームによる話なので説得感があるのに対して、こちらは、GoogleのクラウドベースのAI・機械学習の製品やソリューションを売る人による記事ですので少し注意が必要です。(そちらは私個人のコメントを付け加えています。) しかし、それでも、データサイエンス、
データサイエンスの仕事の定義は尋ねる人や場所によって違いますが、先週AirbnbのデータサイエンスチームのトップのElena Grewalが、彼女のチームではデータサイエンティストを、アナリティクス、アルゴリズム、インファレンス(推論)という3つのグループに分け、それぞれのチームごとに別々に採用を行うようにしているとこちらのLinkedInの記事で発表していました。 ちなみに、私が関わるExploratoryではデータサイエンスを大きくビルダーとアナリティクスの2つに分けた上で、このアナリティクスに特化した手法や技術に関するトレーニングをデータサイエンス・ブートキャンプとして提供しています。 ビルダーとは、主に機械学習などのアルゴリズムを使って、最終的にはユーザーが使うことになるプロダクト(製品やサービス)の一部に組み込まれる、もしくはプロダクトそのものになるといったタイプです。チャットボ
毎回、ワールドカップのようなスポーツのイベントがあるとデータサイエンスティストやAI関連の研究員やエンジニアたちによっていかに正確に結果を予測するかというのが競われていたりします。 みなさんいろいろなタイプのアルゴリズムや手法を使って予測していたりしますが、こちらの「Why Did Artificial Intelligence Fail in the FIFA World Cup 2018? (なぜAIは今回のワールドカップの予測で失敗したのか)」という記事の中では今回のワールドカップの結果を予測しようとしていた3つの異なるグループの手法が簡単に紹介されています。その中の一つは機械学習の世界では王道のランダムフォレスト、統計学系のポワソン回帰、ランキングアルゴリズムを混ぜて予測モデルを作っていました。 そして以下のような結果を予測していました。 実際の試合結果は以下のようになっていますの
こちらのWeekly Updateでも以前中国のAI戦略を紹介しましたが、実はこの15ヶ月くらいの間に他の主要な国々もAIテクノロジーの利用と開発にあたっての戦略を発表しています。 こちらにそれぞれの国のAI戦略がハイレベルで簡単にまとめられています。どの国もフォーカスとプライオリティに差があって、お国柄が出ていると思います。 もちろん日本もしっかりと、さらに実は世界でも2番めに国家レベルでのAI戦略をまとめ発表しています。2016年4月に、「未来投資に向けた官民対話」における安倍首相の指示を受け、人工知能の研究開発目標と産業化のロードマップを作るための「人工知能技術戦略会議」が創設されています。 人工知能技術戦略会議 - Link AIポータル - Link 産官学を代表する11人のメンバーからなりますが、ほとんどが官僚で、あとは東大の学長、トヨタとKDDIの会長といったメンバーです。
データ分析を始めれていない、もしくは少しはやっていても自分たちのビジネスの意思決定に活かせていない日本の企業は今も多くあるのではないでしょうか。現在のようにシリコンバレーの多くの企業がデータ分析を彼らのビジネスの成長にうまく結びつけることができている現状では、どうしてもそれを日本とアメリカの文化の違いということのせいにしてしまいがちです。つまり、アメリカ人は物事を数値化し、データを使ってビジネスを行う文化があって、日本人はもっと直感と経験を重んじる文化であると、日本を訪れたときに聞いたりもします。 そこで、今回はアメリカの野球チームでもともとデータを使うという文化がなかったヒューストン・アストロズというチームを、データ分析をチームの運営、試合の進め方、選手の採用と育成などに取り入れることで、昨年のワールシリーズチャンピオンシップで優勝するほどのチームに変革することに成功したJeff Luh
ベイジアンネットワークという個々の変数の関係を条件つき確率で表す確率推論のモデルの研究によって、コンピューターサイエンスの世界の最高峰の賞であるチューリング賞を80年代に受賞しているジュデア・パール(Judea Pearl)という人が書いた“The Book of Why: The New Science of Cause and Effect” という本を最近読む機会がありました。最近盛り上がっているAIが、我々が期待するほど知的でない理由は、「原因と結果」、つまり因果関係を解明することができないからだというのがテーマです。素人でもわかるように丁寧に書かれているので、皆さんにもぜひ読んでいただきたいと思います。本の方はまだこちらで出版されたばかりなので日本語はまだないかもしれませんが、その彼のインタビュー記事がちょうど最近出ていて、本のメッセージを大まかに掴むことができるのではと思ったの
機械学習とはそもそも現実の世界のユーザーの抱える問題を解決、もしくはユーザーの要望に応えるために使うツールであるはずです。このことを理解せずに、このクールなAIテクノロージーをまずは自分のプロダクトに組み込んでみようとするとおかしなことになり、最終的にはお金と時間の無駄になります。 シリコンバレーは特にですが、もちろんそれ以外の場所からも毎日のようにAIを使った新しいスタートアップが出てきています。しかしその中には、たしかにテクノロジー的にはすごいのですが、結局誰の問題も解決していないために、結局はそのテクノロジーを目当て、もしくはそれより最悪の場合は、アクハイアーといって、単に人材目当ての買収で終わってしまうというケースをよく見かけます。そうならないためにも、機械学習を使うことが目的になるのを避け、何の問題を解決しようとしているのかを最初にしっかりと時間をかけて定義するべきです。 今日は
ここ数年日本でも会社の規模を問わずAI関連のプロジェクトに関する投資が大きな規模で連日行われているように思います。こうしたAIイニシアチブは多くの場合がトップダウン、つまり社長や重役からの指示ではじまり、それに見合った実行計画をマネージャーレベルが作成し、その部下が実行もしくは外部コンサルティング会社に外注というのが多いパターンではないでしょうか。 しかし、そうしてなんとなく慌てて始まったAIに関する投資も、思ったような成果が上がっていないということで、そろそろ失望と困惑が見られるようになってきたと、少なくともこちらアメリカでは聞き始めています。こういう時に、そもそもどういった成果を当初期待していたのかというと、かなり曖昧であったり、もしくは的はずれだったりというのが往々にしてあります。これは、現在のAIに対する過剰な期待がAIの限界によって打ち砕かれた、とも言えます。業界が煽りすぎたとい
これは私達の行っているデータサイエンスのトレーニングで、日本でもグローバルでもよく聞かれる質問です。実は2年ほど前にこの質問に正面から真摯に答えていた"Machine Learning vs. Statistics"という、とても素晴らしい記事があるのですが、今日は、そちらの記事をみなさんに紹介してみたいと思います。 ちなみに、筆者のTom FawcettとDrew HardinはSilicon Valley Data Scienceというデータサイエンスのコンサルティング会社で、多くの有名企業がデータサイエンスを使ってビジネスの問題を解決するための支援を行っていました。ちなみに、その会社の方は去年、Appleに買収されています。さらに、Tomは、「Data Science for Business」(翻訳書:戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック)という有名
時間がたつに連れて、私のフォーカスは、「カスタマーが何を言っているのか?」から、「まずはテストしよう!」というコンシューマー・サイエンスの態度に変わりました。私のチームのカスタマーに関するインサイトは向上し、学びの速度も上がり、何がカスタマーを喜ばせるのかについてのある仮説を形成するに至りました。 以下が、コンシューマー・サイエンスとカスタマーオブセッションのために私達が使ったリサーチの手法です。 既存のデータを使って過去と現在のカスタマーの行動を理解する。 私達の作っているものに対してカスタマーがどう反応するのかを聞くために、フォーカス・グループや一対一のインタビューやユーザーテストといったクオリティティブなリサーチをする。 カスタマーがどういった人たちなのかを、デモグラフィック(人口統計学的属性、つまり性別、年齢、住んでいる地域、所得、職業、学歴、家族構成など)、競合する製品の使用度、
Artificial Intelligence — The Revolution Hasn’t Happened Yet - Link 先週、データサイエンス、AI業界にとって、ターニングポイント(潮の変わり目)となるほど重要なエッセイをUC Berkeleyの教授で、統計、機械学習、AIの研究者でもあるMichael Jordanという人が発表していました。もちろんあのバスケのMichael Jordanとは違います。(笑) 冗談はさておき、ここ最近のビッグデータの世界では標準になってしまったとも言えるSparkを開発したのはもともとAMP LabというUC Berkeleyの研究所のチームなのですがそこを率いていた人がこの人です。彼はシリコンバレーではもちろん、世界的にもビッグデータ、データサイエンスの世界ではかなり有名な人です。 その彼が、最近のAIという言葉に対する一般の誤解と誇大
最近ではフェイクニュースという言葉のおかげで、ニュースなどメディアでみかける主張や数値に対して疑問を持つというスタンスが以前に比べて少しづつではありますが見られるようになってきたように思います。それでもまだ多くの人がふだん毎日忙しい中で、センセーショナルなニュースのヘッドラインをついつい鵜呑みにしてしまい、さらにそれらをソーシャル・ネットワークなどで共有することで知らず知らずのうちにおかしな主張をどんどん拡散してしまっているというのが現状です。社会的に与える影響を考えるとこれは大変憂慮すべきことです。 今日は、Financial Timesのコラムニストで、経済学者のTim Harfordが、データや統計的な主張にまどわされるのでなく、それらを正しく理解するための提案を8つのアドバイスとしてこちらの”Tim Harford’s guide to statistics in a mislea
現在AIに対して多くの人がもつイメージとして、Over Estimate(過剰な期待) とUnder Estimate(過小な期待)という問題があります。Over Estimate(過剰な期待)はAIを使うと全ての問題が自動的に解決されるというもので、Under Estimate(過小な期待)はAIを使えば実は簡単に解決される問題なのにそのことに気づいてもいないということです。 今日では、比較的簡単にAIを使うことのできるツールがたくさんあるので、こうした機会を利用して、自分たちのデータをもとにどんどん使ってみて、AIを使うと実際に何ができて、何ができないのか、さらにどういったことが問題になるのかなどを理解していくことで、自分なりの正しい期待値を設定していくことが重要だと思います。 最近マッキンゼーから実際にAIのプロジェクトを始める時につまずくよくある5つのハードルとそれを解決するための
日本でもデータサイエンティストを雇ってデータサイエンスのプロジェクトを始める企業が増えてきているようですが、残念ながらそうしたプロジェクトが失敗するときによくあるパターンの一つに、データサイエンティストを雇ってその人達にデータ分析を丸投げしてしまうというものがあります。 ここで問題になるのは、分析をするデータサイエンティストとその分析から得られるインサイトを持って意志決定を行うはずのビジネス側の人間との間のコミュニケーションが上手く取れていないということです。これは以前にも”多くの企業がデータサイエンティストを活かしきれない4つの理由”という記事で取り上げました。 もちろんこうした問題は日本だけでなくアメリカでも起きているのですが、この二つのグループの人たちの間を取り持つことを期待されているトランスレーターという職種がこれから重要になってくるという内容の記事がHBR(Harvard Bus
おそらく日本も同じ状況だと思いますが、特にこちらUSではデータサイエンティストという職はたいへん人気があり、給料もよく、仕事の満足度も高く、ワークライフバランスもいいと言われています。(リンク) つい最近も、仕事先探しで有名なGlassdoorが発表していたアメリカのトップ50という職種リストでは3年連続で1位となっていました。(リンク) しかし、だからといってデータサイエンティストを雇ってデータサイエンスのプロジェクトを始めると何かすごい事が起きるというわけではありません。先週そうしたデータサイエンティストを企業が雇ってデータサイエンス関連のプロジェクトを始める時に犯す失敗について書いてある記事が2つほど出ていたので、ここで紹介したいと思います。これからもさらに多くのデータサイエンス関連のプロジェクトを始める機会があると思いますので、その際に参考にしていただければと思います。 Why A
ホテルを直前に予約する時に人気のあるHotel Tonightというサービスを提供しているスタートアップがこちらシリコンバレーにあります。そこでデータ分析のチームを率いているAmanda Richardsonが、スタートアップがデータを使うときによく犯す間違いをこちらの"The Four Cringe-Worthy Mistakes Too Many Startups Make with Data"という記事の中で4つにまとめていますが、今日はそちらを紹介したいと思います。これらはもちろんスタートアップに限らず、どのようなサイズの会社でも、とくに新しいデータ分析のプロジェクトを始める時によく見られる失敗パターンだと思いますが、こちらの記事では間違いだけでなく、逆にこうすればいいという提案も最後にわかりやすくまとめられているので、是非参考にしてみて下さい。 それでは、以下抜粋です。 間違い1
今シリコンバレーで、もしくは世界中のスタートアップ業界で一番ホットな会社といえばAirbnbと言っても過言でないのでしょうか。日本では民泊のプラットフォームとして知られていますが、今や3兆円近い企業価値がついている超ユニコーン企業です。私も日本に行く時はホテルでなく、いつもAirbnbで普通のアパートを一週間ほど渋谷のあたりに借りますが、使いやすく、コストパフォーマンスもよく、出張をするときには欠かせないサービスです。 Airbnbnはシリコンバレーのスタートアップの中でも特にデータの使い方がうまい会社として有名で、いろいろとデータに関するツールをオープンソースとして公開もしています。そんなAirbnbのデータサイエンティストたちの間ではRというプログラミング言語が一番人気があるというのは以前から広く知られていることですが、今回、彼らがどう社内でRを使っているのか、どのようにプロダクトに関
こんにちは、プログラミングなしでよりたくさんの人がデータサイエンスを簡単に使えるようにするために、シリコンバレーでExploratoryというプロダクトを作ってる西田(Kan Nishida)です。今日は現在進行中のデータ・AIというステージに移ったソフトウェア革命の波を日本企業にとってのチャンスととらえて、どう攻めていくことができるかについて書いてみたので、ぜひ読んでみてください。 最近久しぶりに仕事の関係で日本を訪れることがあったのですが、インターネット、モバイルの変革の時期を経た日本は、いよいよガラパゴスと言われていた鎖国の時代から開国へと舵をきったようです。iPhone、Android、Amazon、Facebook、Instagram、Netflix、AirBnBといった次から次へとシリコンバレーからやってくるプロダクト(製品)、サービスが普通にみんなの間に浸透しているのには驚き
先日、第3の波ーAI、機械学習、データサイエンスの民主化という記事の中でも話したように、今では世界中のどこでもデータサイエンスの世界ではRもしくはPythonといったオープンソースのプログラミング言語やツールが広く使われるようになりました。 実際私たちも特にシリコンバレーの様々なタイプのお客様と接することが多々ありますが、最近ではいよいよSASもしくはSPSSといった古くからあるエンタープライズ向けのデータ分析・統計ツールを会社で使用するためにかかる莫大なコストを見直すという圧力が日々大きくなっているようで、新規のプロジェクト、もしくは新規に雇用された人たちがそういった経費の承認を得るのは基本的にありえないか、あってもかなり大変らしいです。で、結局、どうせSASもしくはSPSSを使ってやろうとしてることは何でもRもしくはPythonを使ってできてしまうし、さらにもっと多くの最先端のアルゴリ
このページを最初にブックマークしてみませんか?
『KanNishida - Qiita』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く