企業で働くデータサイエンティストになって10年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポスドクだった僕が企業転職をし、データサイエンティストになって今日で10年が経ちました。自分の中ではデータサイエンティストに転じたのはついこの前のことのように思える一方で、あまりにも多くの様々な体験をしてきたせいか「もっと時間が経っている気がするのにまだ10年しか経っていないのか」という気もしています。 今でも時々SNSで話題に上る回顧録を書いたのが3年前のことなんですが、それ以降は相変わらず同じく現職に留まり続けていることもあり、有体に言えばそれほど大きく変わったことはありません。なので、新たに3年間の振り返りを書くのではなく、回顧録で書き漏らした
「6年解けなかった構造があっさり」──タンパク質の“形”を予測する「AlphaFold2」の衝撃 GitHubで公開、誰でも利用可能に
米Alphabet傘下の英DeepMindが、遺伝子配列情報からタンパク質の立体構造を解析するAI「AlphaFold v2.0」（以下、AlphaFold2）をGitHub上で無償公開し、ネット上で注目を集めている。Twitterを利用する生物系の研究者からは「革命的な成果だ」「これからの研究の前提が変わっていく」など、AlphaFold2の予測精度に対して驚きの声が相次いだ。 なぜAlphaFold2はこれほどの驚きや賞賛をもって迎えられているのか。タンパク質構造解析の難しさをひも解く。 未知の部分が多いタンパク質の構造 タンパク質は数十種類のアミノ酸からできており、配列によってさまざまな性質に変化する。例えば筋肉、消化酵素、髪の毛はそれぞれ役割が異なるが、いずれもタンパク質で作られている。タンパク質の構造が分かれば、生体内の化学反応の理解が進む。アルツハイマー型認知症やパーキンソン病
『ウェブ最適化ではじめる機械学習』はモダンなUI/UX改善の枠組みを学ぶ上で至適の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
ウェブ最適化ではじめる機械学習 ―A/Bテスト、メタヒューリスティクス、バンディットアルゴリズムからベイズ最適化まで 作者:飯塚 修平発売日: 2020/11/19メディア: 単行本（ソフトカバー） こちらの書籍を著者の飯塚修平さんからご恵贈いただきました*1。テーマとしてはウェブ最適化即ちいわゆるUI/UX改善で、そのアプローチについて包括的にまとめた内容です。ちなみに本書は著者ご自身の修士・博士論文の内容に沿ったもので、いわば大学院での研究の集大成とも言えるものなのだそうです。 と書くと、いかにも「ガッチガチの研究」本に見えるかもしれませんが、引用されている事例などには一般のユーザー・消費者でもある我々にも馴染み深いものが多く、意外と取っ付きやすい内容だなと個人的には感じました。また、A/Bテスト・バンディット・ベイズ最適化とそれぞれ個別に専門書が書かれることが多く、別々に学ぶ羽目にな
機械学習とは？定義から学習手法・5つのアルゴリズム・活用事例までわかりやすく解説 | AI専門ニュースメディア AINOW
最終更新日： 2023年1月6日 こんにちはAINOWインターンのsatoshiです。今回の記事ではAIやディープラーニングと混同されがちな機械学習について、それらの関係性・違いを理解できるようにわかりやすく説明します。 また機械学習を知る上で必要不可欠な用語（教師あり学習や教師なし学習、各アルゴリズムなど）に関しても、この記事を通して、きちんと整理して理解できるようになっています。 機械学習とはAIの1つの要素技術です。 多くの企業で取り組むことができる技術の１つでしょう。機械学習について理解するのに必要なことは3つあり、以下のようになります。 データからルールやパターンを発見する方法である 識別と予測が主な使用目的である 分析の精度は100%ではないが、従来の手法より精度をあげられる可能性は高い 機械学習にできる4つこと 機械学習は与えられた膨大なデータを元にして、複数のルールやパター
機械学習や統計学を「社会実装」するということ - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 最近になって、こんな素晴らしい資料が公開されていたことを知りました。 この資料自体は著者のMoe Uchiikeさんが東大での講義に用いられたものだとのことですが、その内容の汎用性の高さから「これは全ての機械学習や統計学を実務で用いる人々が必ず読むべきドキュメント」と言っても過言ではないと思われます。 正直言ってこの資料の完成度が高過ぎるのでこんなところで僕がああだこうだ論じるまでもないと思うので、内容の詳細については皆さんご自身でまずは上記リンクから精読していただければと思います。その上で、今回の記事では「機械学習や統計学を『社会実装』する」ということがどういうことなのかについて、この資料を下敷きとした上でさらに僕自身の経験や見聞を加えて考察したことを綴ってみます。 機械学習や統計学と、社会との「ギャップ」 機械学習や統計学を、社会に「馴染ませる」
機械学習エンジニアは10年後には存在しないだろう。 | AI専門ニュースメディア AINOW
著者のLuke Posey氏は、機械学習エンジニアのキャリアを積んだ後にAIスタートアップSpawner.aiを創業するかたわらMediumに記事を投稿しており、AINOW翻訳記事『無闇にデータサイエンティストを雇うのをやめよう。』の著者でもあります。同氏が最近Mediumに投稿した記事『機械学習エンジニアは10年後には存在しないだろう。』では、近い将来、「機械学習エンジニア」という職種が実効的な意味を持たなくなる、と予想が論じられています。 第三次AIブーム黎明期の頃、機械学習エンジニアは数学と統計学に関する専門知識を習得しているという希少さゆえに、高く評価され高額報酬を手にしていました。この職種には、最先端の技法を製品やサービスに落とし込む「研究者兼技術者」という立ち位置が依然として求められています。 しかし、近い将来、機械学習エンジニアには研究者としての側面が求められるなくなるだろう
ML design: 機械学習を確かならしめる「メタ」な枠組み - 渋谷駅前で働くデータサイエンティストのブログ
(By Gufosowa - Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=82298768) ここ最近、事あるごとに僕が色々な人たちに提案している概念として"ML design"というものがあります。これは元々"ML Ops"（DevOpsと同じように機械学習のシステム基盤などを包含する考え方）に対して「機械学習モデリングを運用する上で注意すべき点って多いよね」ということで、その注意点をまとめたものを一つの体系として扱えないかという趣旨で僕が勝手に言い出したものです。 言い方を変えると、統計分析に適したデータを集めるための実験計画法(experimental design)があるのと同じように、機械学習に適したデータの集め方やその交差検証などのやり方についてもまとめた計画法(design)が
Scalabilityを追求するということ - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 今年も恒例の年末振り返り記事の季節になりました（笑）。なおここ数年の年末振り返り記事はこちらから。 去年まではどちらかと言うと「stats/ML分野の進歩が早過ぎてついていけない」という愚痴半分諦め半分みたいな話をしていたわけですが、ついていけなくなった結果技術的な知識という面では周回遅れになりつつあるという段になって、僕個人の中では別の課題意識が今年になって出てきたのでした。ということで、今回の記事では今年の注目トピックを振り返りながら、その課題意識についてちょっとポエムを書いてみようと思います。 自動化の潮流 チームを作るということ そしてscalabilityへ 自動化の潮流 AutoML Tablesの登場が、個人的には今年の最も大きな出来事でした。このブログでAutoML Tablesのパフォーマンスを色々試してみたのがきっかけとなって、つい
機械学習の説明可能性（解釈性）という迷宮 - 渋谷駅前で働くデータサイエンティストのブログ
ちょっと前に、しょうもないことを某所で放言したら思いの外拡散されてしまいました。 機械学習の説明可能性（解釈性）、大半のケースで求められているのは厳密な分類・回帰根拠ではなく受け手の「納得感」なので、特に実ビジネス上は説明可能性に長けたモデルを開発するより、納得できないお客さんを巧みに関係性構築した上で口八丁で完璧に説得できる凄腕営業ピープルを雇う方が重要— TJO (@TJO_datasci) 2019年11月23日 これ自体は与太話なので実際どうでも良い*1のですが、最近色々な研究や技術開発の進展はたまた実務家による考察などを見ていて、「機械学習の説明可能性（解釈性）というのは思った以上に複雑な迷宮だ」と感じることがままあったのでした。 ということで、今回の記事では僕のサーベイの範囲でザッと見て目についた資料などを超絶大雑把にリストアップした上で、主に実務における説明可能性とは何かとい
移り変わる「データサイエンティストの『常識』」について考える - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 先日、こんな話題を見かけました。 【夏なので怖い話】 こないだ、いかにもエリートな男性と知り合ったんですよ 彼は年収1000万で飛ぶ鳥を落とす勢いのデータサイエンティストだっていうじゃないですか それでふとAICの話題を持ちかけたんです 「あー現実であまり使わない数学の話はわかりません」 …おわかりいただけただろうか？— ゆうな (@kawauSOgood) 2019年8月14日 で、悪ノリした僕はこんなアンケートをやってみたのでした。 データサイエンティストという肩書きで年収1000万円以上の高給取りが、知らなかったとしても許される項目はどれですか— TJO (@TJO_datasci) 2019年8月15日 このアンケート結果こそが、今回の記事を書こうと思ったきっかけです。ある程度知識のある方ならお分かりかと思いますが、ここで挙げた「AIC」「正則
データサイエンティストや機械学習エンジニアに求められる「素質」とは何か - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 某所で時々意見交換させていただいている@maskedanlさんが、面白い記事をnoteにupなさっていたので拝読しました。細かい内容は上記のリンク先から皆さんに直接お読みいただくとして、記事中で某所で僕が放言（笑）したことへのご質問をいただいていたのでした。それは、データサイエンティストや機械学習エンジニアといったデータ分析人材に求められる「素質」について、です。 それは例えば統計学や機械学習はたまたプログラミングといった「スキル」や「素養」とも違う、言ってみれば性格的傾向とか仕事スタイルとかはたまた思想信条のような、もうちょっと属人的で曖昧なものだと思うのですが、個人的な経験からはその「素質」の有無がデータ分析職として育成した結果、ものになるかならないかを分けるように感じられています。 ということで、あくまでも個人的経験に基づく範囲でデータサイエンテ
2019年版：データサイエンティスト・機械学習エンジニアのスキル要件、そして期待されるバックグラウンドについて - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は、以前の同様のスキル要件記事のアップデートです。 正直言って内容的には大差ないと思いますが、今回は2つ新たな軸を加えることにしました。一つは「ジュニアレベル（駆け出し）」と「シニアレベル（熟練職人）」とで分けるということ、もう一つは「データ分析以外の業界知識（ドメイン知識）」にも重きを置く、ということです。 というのも、空前の人工知能ブームが予想よりも長く続いていることで、人材マーケットを観察する限りではデータサイエンティスト・機械学習エンジニアとも求人数が高止まりしているように見えるのですが、その結果としてこのブログの過去のスキル要件記事で挙げたような「完成されたデータ分析人材（熟練職人）」に限らず「駆け出し」でも良いからデータ分析人材が欲しいという企業が増えているように感じられるからです。 その一方で、かつては主にwebマーケティング業界
データサイエンティスト＆機械学習（人工知能）エンジニアのスキル要件と、過熱する人工知能ブームが生み出す狂騒曲と（2018年2月版：追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixaby) この記事は去年はてブ1100以上ついてしまった与太記事の続編です。その時はタイトルを読んで字の如く「データサイエンティスト」と「機械学習エンジニア」の満たすべきスキル要件（の2017年版）について考察したものでした。 で、まだ1年しか経ってないのに何でまた引き合いに出したのかというと、最近のメディア報道やニュースリリースの類などを見ていると「データサイエンティストにディープラーニングをやらせる」とか「高度な統計分析のできるエンジニアが必要」みたいなどう見ても色々混同している感のある内容が目に付くので、改めてちょっと自己流に交通整理してみようかなと思ったのでした。 特に、空前の人工知能ブームで「人工知能」の語が人口に膾炙すると同時に2014年頃にブームが終わったはずの「データサイエンティスト」の語が何故か復権してしまい、そこら中のメディアでかつて空回りした
NNが心理学と生理学から離れていった瞬間：Back propagationに関するNature論文(1986)の意義を考える - 渋谷駅前で働くデータサイエンティストのブログ
(Fig. 1 from Rumelhart, Hinton & Williams, Nature, 1986) これはちょっとした小ネタです。僕自身はニューラルネットワーク (Neural Network, NN)の学術的専門家でもなければ況してやNNの研究史家でもないので、たかだか僕自身がかつて脳の研究者だった頃に把握していた事由に基づいて、極めていい加減な私見を書いているに過ぎないことを予めお断りしておきます。よって、この辺の事情に詳しい方いらっしゃいましたら、後学のためにも是非ご遠慮なくツッコミを入れて下さると有難いですm(_ _)m 先日のことですが、@tmaeharaさんがこんなことを呟いておられました。 オリジナル論文 https://t.co/kXfu8jIat3 これです．本当にただチェインルールで微分して勾配法しているだけにしか見えない……．— ™ (@tmaehara
機械学習をやる上で必要な数学とは、どの分野のどのレベルの話なのか（数学が大の苦手な人間バージョン） - 渋谷駅前で働くデータサイエンティストのブログ
しばらく前にこんな記事が出ていたのをお見かけしました。 明らかにこれは僕が某所（笑）で適当に放言したことがきっかけで巻き起こった議論の一旦なのではないかと思うのですが、個人的にはこちらの@yohei_kikutaさんの仰る通りで大体良いのではないかと考えております。 なのですが、言い出しっぺらしき身としてはもうちょっと何か具体的な話を書いた方が良いのかな？とも思いましたので、常々公言しているように数学が大の苦手な身ながらどの分野のどのレベルの数学が機械学習をやっていく上で必要なのかという点について戯言だらけの駄文を書いてみることにします。 深層学習 (機械学習プロフェッショナルシリーズ) 作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本（ソフトカバー）この商品を含むブログ (13件) を見るちなみに、以下に並べる戯言は深層学習青本から得られた知識を
【第18回数学カフェ】【確率・統計・機械学習回】 - 数学カフェ
2017年4月22日、yahoo!JapanのコワーキングスペースLODGEにて、確率・統計・機械学習回を開催させていただきました！ 講師は、まつけんさん、大野さん。 パネルディスカッションのパネラーはMATHETAKEさん、岩沢宏和さんです。 当日はなんと117名の方にお越しいただき、動画配信もあり、とても盛況でした！ありがとうございます！ 資料をこちらの方に記録・保存させていただきます。 開催概要 資料 まつけんさん資料 大野さん資料 岩沢先生：coming soon! Twitter実況 開催概要 イベント募集ページ 資料 まつけんさん資料 数学カフェ 確率・統計・機械学習回 「確率・統計入門」 from Ken'ichi Matsui www.slideshare.net 大野さん資料 20170422 数学カフェ Part1 from Kenta Oono www.slidesh
読書日記: 読了：Domingos(2012) 機械学習について知っておきたい12の事実
« 読了：Ljungqvist, et al.(2015) 重度の精神疾患患者に毎月お金を渡したら？ | メイン | 読了: Ronkko, McIntosh, & Antonakis (2015) PLS-SEMに怒りの鉄拳を » 2016年1月 7日 (木) Domingos, P. (2012) A Few Useful Things to Know about Machine Learning. Communications of the ACM, 55 (10), 78-87. たまたま見つけて、前半はお茶を飲みながらぼけーっと眺めていたのだけれど、途中でこりゃあ勉強になるわと気づき、心を入れ替えて真剣に読んだ。大変面白かった。 きわめてイイカゲンな訳だが、メモをとっておくと... みんな機械学習使ってますね。教科書もいっぱいありますね。でも、機械学習をうまく使うためには、知って
Machine Learning with Scikit Learn (Part I) - 人工知能に関する断創録
今年の7月に開催されたSciPy2015の講演動画がEnthoughtのチャンネルで公開されている。今年も面白い講演が多いのでいろいろチェックしている。 今年の目標（2015/1/11）にPythonの機械学習ライブラリであるscikit-learnを使いこなすというのが入っているので、まずはscikit-learnのチュートリアルを一通り見ることにした。 Part IとPart IIを合わせると6時間以上あり非常に充実している。IPython Notebook形式の資料やデータは下記のGitHubアカウントで提供されている。ノートブックをダウンロードし、実際に手を動かしながらチュートリアルを進めると理解がより進むかもしれない。 あとで振り返りやすいように内容を簡単にまとめておきたい。 1.1 Introduction to Machine Learning 機械学習システムの流れ。教師あ
第2回全脳アーキテクチャ勉強会でDeep Learningについて講演しました - Preferred Networks Research & Development
得居です。1月30日にリクルートGINZA8ビルで開催された第2回全脳アーキテクチャ勉強会にて、Deep Learningについて講演しました。 全脳アーキテクチャ勉強会は「人間のように柔軟汎用な人工知能の実現に興味のある研究者、脳に興味のあるエンジニア，関連分野(神経科学、認知科学等)の研究者間での交流をはかりつつ、こうした取組へ関わるきっかけ」作りが目的の勉強会です。今回は主催者の一人である産総研の一杉裕志先生、筑波大学の酒井宏先生、そして私が講演を行いました。最終的な来場者数は把握しておりませんが、200名超の大規模な勉強会となりました。 私の発表は Deep Learning の最近の進展について、できるだけ幅広い学習手法やモデルを紹介する内容です。各手法の実際の成果がどうかというよりは、今後の研究の種になりそうな面白そうな話題を詰め込みました。発表後にも多数の質問を頂き、その後の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
