TL;DR（思ったよりもかなりの長文になってしまったので*1、時間がないという方は1番目と2番目のセクションの冒頭だけお読みください） しんゆうさんの舌鋒鋭いブログ＆note記事にはいつも楽しませていただいているのですが、この記事は一点僕のデータ分析業界の認識に新たな視点を与える話題があって特に目を引きました。それが以下の箇所です。 資格があるわけでもないので名乗るのは自由だし、未経験だろうが文系だろうがそれはどうでもいいのだけど、傍から見ていると「サイエンティスト」と名乗っているわりには「サイエンス」な話をしていないなぁとは思っている。（中略） 現在起きている第３次データサイエンティストブームは「データサイエンティストと名乗りたい人」が盛り上げているように見える。 （太字筆者） この問題は、このブログの前々回の記事でも取り上げています。 ただ、僕はこういう「データサイエンティストになりた
海外就職： シンガポールでデータサイエンティストとして働くまでの話｜Yusuke Minami @Minyus86
シンガポールに来た経緯、Resume、OSS、Kaggle、（コーディング）面接対策、給与交渉体験、就労ビザについて、以下の方向けに書きます。 ・ 外資系企業との英語面接を控えている方 ・ 海外、特にシンガポールでの就職に興味がある方 ・ データサイエンティスト、MLエンジニア、ソフトウェアエンジニアとしてのキャリアに興味がある方 前置き ・ こちらの記事は全文無料で公開していますが、最後にお願いがあります。 ・ 技術的な内容を含みますが、その部分は読み飛ばしていただいても問題ありません。 ・ あくまでも一個人の体験に基づきますので、参考にされるかどうは自己判断でお願いします。 シンガポールに来た経緯 私は2010年1月にエンジニアとして東京で働きはじめ、主に製造、自動車業界向けのセンサーデータ処理、解析、シミュレーション、コンピュータビジョンといったアプリケーションに携わっていました。
データサイエンティストとは データサイエンティストは、端的にいえばAI社会におけるデータを扱うプロフェッショナルです。大量のデータを集め、整理し、パターンやトレンドを分析し、ビジネス上の課題や問題に対する解決策を見つける役割を果たします。 近年、人々の生活のデジタル化が進んだことで、知らず知らずのうちに人々の行動がデータとして蓄積されています。例えば、インターネットで使用した「検索ワード」や、ECサイトにおける購入履歴、SNSにおける投稿など、人々が行動した過程や結果で生成されるさまざまな記録は、すべてその人の特徴を表すデータの一部になります。 また生成されるのは個人のデータだけでなく、事業者のデータも数多く存在します。例えば農業や水産業などの一次産業、その先の二次産業、三次産業においても、気象状況や収穫量、工場での生産量、実際の市場での流通量など、企業活動を通じてさまざまなデータが生成さ
新型コロナウイルス不況でデータサイエンティスト・機械学習エンジニアは失業するのか - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) のっけから不穏なタイトルで恐縮ですが、個人的に新型コロナウイルスの感染拡大初期の頃から懸念していた事態が徐々に現実になる流れが見え隠れしており、自分自身の警戒も込めて記事にしてみました。関連資料の誤読・理解不足・認識の誤りなどあればご指摘ください。 UberのAI部門解散というニュースの衝撃 その他の企業及びデータ分析業界の雇用情勢について 新型コロナウイルス禍で「余興」としてのデータサイエンスやAI研究開発を続ける余裕が失われていく？ 結局のところは「本業」「好景気」なprofit center部門に行くべき？ UberのAI部門解散というニュースの衝撃 先日3700人を解雇すると発表したUberなのですが、最近さらに中核であるライドシェア事業を中心に3000人を解雇すると発表して波紋が広がっているようです（フードデリバリー事業は拡充するとのこと）。
ジェンダーギャップ指数というザル指標で見落とされてしまう差別
今年もジェンダーギャップ指数が発表され、日本は121位と相変わらず低位であった。この指数については、政治的エンパワメントに極端に加重がかかっており、かつ指標の採り方が女性の絶対的人権状況をとるものではなく性比一本槍で評価するためブレやすく、そういった点に対する批判が多く聞かれる。 個人的には、政治的エンパワメントも目指すべき目標の一つであるのだから、そこに文句を言う筋合いはないと考えている。そのうえで、ジェンダーギャップ指数は政治的エンパワメントの指標としてもあまり質が良くないと考えている。ジェンダーギャップ指数は差別構造が残っているにもかかわらず見た目だけ順位を上げるハック・チートが容易であり、かつ実際上位に並んでいる国に差別的構造が残っていることが多いからである。言い換えれば、差別を撤廃するための指標としてあまり役に立っていない、ということである。この項では、それらの事例について検討し
新卒データサイエンティストの成長ストーリー #3 RecSys 2022 参加レポート - techtekt
まえがき こんにちは。デジタルテクノロジー統括部アナリティクスグループ新卒の安藤です。前の記事から3ヶ月も空いてしまいました......。 先日9/19-23に行われた国際学会RecSys 2022をオンラインで聴講したので、その報告として記事を書くことにしました。パーソルキャリアからは私を含め3名以上が参加したと聞いています。 The ACM Conference on Recommender Systems、通称RecSysは推薦システムに関するトップカンファレンスであり、ジョブマッチとは密接な関わりがある分野です。 推薦システムの最先端がどのようなものであるかを知ることでビジネスに活かしたいとの思いから参加を申し出た、という経緯です。 (かなり直前の申請でしたが許可をいただくことが出来ました。この場を借りて改めてお礼申し上げます......！) 非常に興味深い発表が多数ありましたが、
TL;DR 書籍「効果検証入門 正しい比較のための因果推論／計量経済学の基礎」のRソースコードを、Pythonで（ほぼ）再現しました https://github.com/nekoumei/cibook-python 本記事では、主にRではライブラリどーん！で済むけどPythonではそうはいかない部分の解説をします 書籍の紹介 https://www.amazon.co.jp/dp/B0834JN23Y 上記Amazonに目次が載っているのでそれを見るのが早い気がしますが。。 とても良い本です。正確な意思決定を行うためにどうやってバイアスを取り除くか？に焦点を当てて種々の因果推論の手法（傾向スコア/DiD/RDDなど）をRソースコードによる実装とともに紹介されています。 全体を通して、現実問題の効果検証に因果推論を活用するにはどうすればいいか？という観点で書かれており、非常に実用的だなーと
グーグル、131カ国の外出データを公表 新型コロナ対策
4月２日、新型コロナウイルスの感染拡大を受けて多くの政府が国民の外出を制限をする中、米アルファベット傘下のグーグルは２日、店舗・公園・職場への外出が減っているかどうかを示す１３１カ国のデータを公表した。写真はグーグルのロゴ。スイスのダボスで１月撮影（２０２０年 ロイター/Arnd Wiegmann） ［オークランド（米カリフォルニア州） ２日 ロイター］ - 新型コロナウイルスの感染拡大を受けて多くの政府が国民の外出を制限をする中、米アルファベット傘下のグーグルは２日、店舗・公園・職場への外出が減っているかどうかを示す１３１カ国のデータを公表した。
感染症についてSIRモデルから学んだこと
新型コロナウイルス感染症（以下では「新型感染症」）について1カ月前にコラムを書いたときに、不思議に思ったことがあった。時点ごとの感染者数が正規分布の曲線になっていたことだ[1]。厚生労働省と専門家会議が示した「新型コロナウイルス対策の目的」という資料でも時点ごとの患者数が正規分布の曲線になっている。どうして一定のピークを経て感染者数（患者数）が減少に向かうのかがよく分からなかった。 最近になって、SIRモデルという感染症のモデルを知った。とても興味深いので、私の理解を書き留めておくことにした。私は専門家ではないので、以下の話は批判的に読んでいただき、できれば専門家がもっと緻密で国民に分かりやすい解説をしていただくことを期待している。 SIRモデルでは、ある感染症について、S(susceptible)が感染症への免疫がない人々、I(infected)が感染症に現在かかっている人々、R(rec
著者のLuke Posey氏は、現在、P＆Gアメリカ法人で機械学習エンジニアとして働く傍ら、AIスタートアップMalgoの共同設立者に名を連ねています（同氏に関する詳細はこちら）。同氏がMediumに投稿した記事では、データサイエンティストを雇用する際に生じる業務上のミスマッチが風刺されています。 近年データサイエンティストが「セクシーな職業」として注目を集めているのは周知の通りですが、本来はアナリストあるいはエンジニアのほうが適任な業務に対してもデータサイエンティストを重用する傾向がある、と同氏は指摘します。 アナリストを雇うべきなのにデータサイエンティストを雇ってしまうミスマッチは、統計学に関する学術的訓練を受けた人材が高額な報酬を欲しいがゆえに、データサイエンティストを名乗ることに起因します。その一方でビジネスに精通した本来的な意味でのアナリストは目立たなくなり、企業は高額でデータサ
去年末に日本に帰国した際、ありがたいことに多くの方から因果推論に関するレクチャーの依頼をいただきました。 本当はこの春にも帰国してトーク予定だったのですが、コロナ渦でタイミングを逸したので思い切って講義資料を公開することにしました。 ツイッター上でのこんな話題もきっかけで・・・ これを意識するだけで（少なくとも医学・公衆衛生領域における）回帰分析ユーザーの大部分の結果の解釈やモデルに対する向き合い方が変わると思っています。日本で修士までとったけど、自分は留学するまで知らんかった。 去年末、一時帰国中にやった因果推論ワークショップ中でも触れました。 https://t.co/jEsu5WDPLx pic.twitter.com/LmidBTMQlw — KRSK (@koro485) May 27, 2020 内容はこんな感じです なんとなく回帰分析を使って「調整」をしてました、くらいの統計
著者のAishwarya Prabhat氏は、オンラインショッピング企業のShopeeに勤務するシンガポール在住のデータサイエンティストです（同氏の詳細についてはこちらを参照）。同氏がMediumに投稿した記事『データサイエンティストの嘘と欺瞞を見破る7つの方法』では、AIソリューションの価値を正しく評価するのに役立つ7つの質問が解説されています。 現在流行している機械学習やディープラーニングを活用したAIソリューションは最先端技術であるために、採用決定権のある企業幹部がそのソリューションの詳細がよく分からないことが少なくありません。Prabhat氏によれば、こうした状況であっても以下のような7つの質問を投げ掛けてみて納得の行く回答が得られれば、信頼できるAIソリューションかどうか判断できます。 ソリューションに使われている「AI」という言葉を分かりやすい喩えで説明できるのか 学習データを
データサイエンティストの基本的な副業の流れ データサイエンティストのsatomacoto（@satomacoto）です。普段は、解析に必要なIoTデバイスやWebアプリのソフトウェア開発から機械学習モデルの開発・デプロイまで携わるソフトウェアエンジニア/データサイエンティストとして働いています。本稿では、データサイエンティストとして短期間で成果を出すために気をつけていることについて執筆します。 1.契約前・オンボーディング 一口にデータサイエンスの案件といっても、その言葉が表す職務は、「モデル開発」「特徴量エンジニアリング」といったデータサイエンスそのものに関わるところから「アーキテクチャ」「データ整備」といったソフトウェア・インフラに関わるものまで広範囲に及びます。 契約前・オンボーディングでは、クライアントがどこまでの範囲をどの程度の期間で実現したいか、そして限られた自分の時間でどこま
「“開発者体験”で世界をエンパワメントする1日。」と題し、チームや組織の課題に日々取り組む方々に向けて開催された「Developer eXperience Day CTO/VPoE Conference 2021」。ここで、アイシア=ソリッド氏が「あなたが始めるデータ分析～データ分析プロジェクトの立ち上げ方から分析文化の作り方まで～」をテーマに登壇。最後にデータサイエンスの世界に入ることと、好き嫌いについて紹介します。前回の記事はこちらから。 データサイエンティスト協会の「タスクリスト」 アイシア=ソリッド氏：でも、「いやいや、待ってよ」と。「そうは言ってもエンジニアとデータサイエンスってちょっと違うでしょ？ PoCとかなんとかあるでしょ？ 聞いたことあるよ、アイシアさん」という方もいるかもしれない。 そんな方におすすめなのが、データサイエンティスト協会が出している、「タスクリスト」という
データアーキテクト（データ整備人）の概観とこれからの展望と課題 / maemuki_data_seibinin01
グループのメンバーになっていただくと新しいイベントが公開された際にご連絡が行きます（登録無料） https://analytics-and-intelligence.connpass.com/ しんゆう＠データ分析とインテリジェンス ブログ ：https://analytics-and-intelligence.net/ Twitter：https://twitter.com/data_analyst_
ML design: 機械学習を確かならしめる「メタ」な枠組み - 渋谷駅前で働くデータサイエンティストのブログ
(By Gufosowa - Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=82298768) ここ最近、事あるごとに僕が色々な人たちに提案している概念として"ML design"というものがあります。これは元々"ML Ops"（DevOpsと同じように機械学習のシステム基盤などを包含する考え方）に対して「機械学習モデリングを運用する上で注意すべき点って多いよね」ということで、その注意点をまとめたものを一つの体系として扱えないかという趣旨で僕が勝手に言い出したものです。 言い方を変えると、統計分析に適したデータを集めるための実験計画法(experimental design)があるのと同じように、機械学習に適したデータの集め方やその交差検証などのやり方についてもまとめた計画法(design)が
著者のAdam Sroka氏は、イギリス・スコットランドに拠点をおく企業の消費電力を最適化するソリューションを提供するOrigamiで機械学習エンジニアチームのリーダーを務めています（同氏の経歴はLinkedInを参照）。同氏がMediumに投稿した記事『なぜ多くのデータサイエンティストが優良企業の良い仕事を辞めるのか』では、データサイエンティストが仕事を辞めたくなる状況を確認したうえで、そうした状況を改善する方法が解説されています。 データサイエンティストは「21世紀で最もセクシーな仕事」と言われて久しいですが、現実には新しい職場を熱心に探している職種であることがアンケート調査で判明しています。離職したいと考えているデータサイエンティストが少なくないのは、仕事を辞めてしまいたくなる状況にしばしば陥るからです。 Sroka氏によると、データサイエンティストが仕事を辞めたくなるのは、以下のよ
一度覚えたことを忘れる？破局的忘却とは？現在、「人工知能（AI）」技術は至る所で耳にするようになりました。 例えば工場で、生産したものに傷がないか検品するにも、画像認識の人工知能が使われています。 その精度は凄まじく、人間より素早く、かつ正確に行うことができます。 しかし、そんな万能とも思えるような「人工知能」にもいくつか欠点があります。 破局的忘却（破滅的忘却）それは、破局的忘却（または、破滅的忘却）と呼ばれる欠点です。 なにやらカッコイイ響きの言葉です。 ですが、その内容は「一度何かを学習したネットワークに新しいものを覚えさせようとすると、以前学習したものを忘れてしまう」というもの（笑） 例えば、「りんご」と「みかん」を識別できるネットワークがあったとします。 そのネットワークに新しく「ぶどう」も識別させようと学習すると、「りんご」と「みかん」はもう忘れているのです！ 【図、破局的忘却
なぜ花王は強力なデータ分析チームを作れたのか？ リスクを取るリーダーが率いる総勢20名の組織とは | ［マナミナ］まなべるみんなのデータマーケティング・マガジン
岩村大輝（以下、岩村）：花王さんは本当にデータ分析組織が強いという印象があります。今日はその分析力の秘密に迫っていきたいと思いますが、それは体制のあり方に鍵があるのか、あるいは日頃のコミュニケーションにあるのか。いろんな視点から強い組織を作るための方法を聞いていきたいです。 株式会社ヴァリューズ 岩村大輝（いわむら・だいき） 業界最大手日用品メーカーなど大手顧客を中心にデジタルマーケティングを支援。現在はヴァリューズ最年少マネジャーとして、事業会社を中心に担当するコンサルティング組織を統括している。 岩村：まずお聞きしますが、強いチームづくりで意識されていることはあるのでしょうか？ 佐藤満紀さん（以下、佐藤）：強いチームを作ろうと意識したことは特になく、たまたま結果的に良い状態になっているかと思います。ただ、組織としての構図は描いていますよ。これからは分析の現場に寄り添い、常日頃データ処理
ビジネス現場で大量の情報（ビッグデータ）を分析・活用する職業「データサイエンティスト」の人材が不足する中、大学生の就活現場で異変が起きている。「官僚でもなく、有名企業でもなく、データサイエンティスト職を志望する東大生が目立ち始めている」（就職情報会社）からだ。すでに転職業界では、高給での人材争奪戦が沸騰しており、あおりを受けた企業が高学歴の東大生を“青田買い”しようという図式だ。学生側も、日本企業の終身雇用制度の維持が難しくなる中、高給で自由に働くことができる魅力を感じている。 【表でみる】年金の受給開始年齢早見表 ■高度な専門職 データサイエンティストには、ビッグデータを分析して消費者の行動や好みに合うサービスの提供や、詳細な市場分析、将来予測などが求められる。世界では約３０万人のデータサイエンティストが不足しているとの調査があり、日本も例外ではない。 慶応大大学院の渡辺美智子教授（統計
じゆうちょう Advent Calendar 2019 18日目の記事です。 概要 データエンジニアリングという業務を扱うにあたって、どのように人事評価を実施するか。 本稿では実践可能なレベルで「評価基準」の例を提示します。 もくじ 概要 もくじ 背景 注意点 本題: 人事評価の設定例 1. マイルストーン（計画） 2. QCDS（構築） 3. サービスレベル（運用） 4. 利益目標（企画） まとめ Appendix 前提1: 本稿のスコープ ＝ 査定でボーナスが上下するような状況 前提2: 被評価者がコントロールできない事象に対してはフォローする 応用編1: 「データ基盤」という固有トピックにおける技術や案件の評価について 応用編2: 「データの民主化」の目標設定をどうするか おわりに 背景 データエンジニアリング業務に伴う「人事」（採用・アサイン・育成・評価）について質問を受けることが
いとう on Twitter: "データサイエンティストを４年ぐらい(学生の時含む)やってきて思うことを自戒を込めて４ページにまとめてみた ・単なる機械学習の専門家はやめよう ・最新の機械学習手法よりお客さんの世界の論文 ・誰も本当に本当に物なんて言語化できない… https://t.co/kN5sc9nW4V"
データサイエンティストを４年ぐらい(学生の時含む)やってきて思うことを自戒を込めて４ページにまとめてみた ・単なる機械学習の専門家はやめよう ・最新の機械学習手法よりお客さんの世界の論文 ・誰も本当に本当に物なんて言語化できない… https://t.co/kN5sc9nW4V
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 目次 ・Robynとは ・とりあえずチュートリアルやってみる ・向き合い方 ・参考情報 Robynとは Robyn（ロビン）はFacebook（META）が開発しているMarketing-Mix-Modeling（以降、MMM）のオープンソース（https://facebookexperimental.github.io/Robyn/）です。主にR言語で開発されています。（Python版は目下開発中らしいです。） MMMは、マーケティングの広告投資の予算を、効果を最大
ビジネスの現場で活躍できるデータサイエンティストに求められる能力とは。そして実際に問題を見つけ、それを分析し、業務に役立てるためのポイントは何なのか。滋賀大学の河本薫教授が説明した。 「あらゆるデータ分析は、意思決定に役立つものでないといけない。筋の悪い分析に着手しないためには、具体的にどういう意思決定に役立つかをイメージする必要がある。これを考えるのがデータサイエンティストの仕事だ」――滋賀大学 データサイエンス学部の河本薫教授は、ビジネスの現場におけるデータ分析の在り方について、こう語った。 河本教授は、前職の大阪ガス時代にデータ分析専門の組織を立ち上げ、「エネルギーの需要予測」「電力の価格予測」など、データを駆使して業務改革に取り組んだことで知られている。 プロジェクトを成功に導くには、どういった点に気を付ければいいのだろうか。河本教授が11月7日に開催されたデータ活用に関するイベン
こんにちは。エンジニアリンググループ AI・機械学習チームの大垣です。 これは エムスリー Advent Calendar 2019 の10日目の記事です。 前日は id:sora_sakaki による、量子ゲームを開発した話でした。 さて、この記事ではデータエンジニアの皆さんが戦われているであろうログデータの活用の話をします。 もちろんエムスリーでもレコメンドやコンテンツの出し分けなどログデータを活用したシステムが開発されています。 ここでは、そのログに加えて、アンケートを用いることで、解釈しやすいユーザーの嗜好分類を行う話をします。 なおこの内容は本日の Machine Learning Night というイベントで簡単に紹介し、スライドも公開する予定です。ご興味のある方はそちらも是非ご覧ください。 webサービスでの行動ログとアンケートの結果を紐づけて予測モデルを作る。アンケート非回
制作を担当したのは、東洋経済オンライン編集部でデータジャーナリスト／データ可視化デザイナーとして働く荻原和樹さんだ。 2010年に東洋経済新報社に入社し、イギリスの大学院への留学などを経て2017年に編集部へ異動。それ以来、各種データの可視化やインフォグラフィックを活用した記事の執筆を続けてきた。 荻原さんが今回の「新型コロナウイルス 国内感染の状況」の制作にかけた期間はたったの一週間。しかも、通常業務の合間に一人で作り上げたという。 そんな彼が「新型コロナウイルス 国内感染の状況」特設ページ制作に込めた思いとは……？ データ可視化デザイナーの役割とあわせて、詳しく話を伺った。 東洋経済新報社 データジャーナリスト／データ可視化デザイナー 荻原和樹さん 2010年筑波大学卒業、同年東洋経済新報社に入社。大株主・大量保有報告書データ編集を経て、2014年よりデータベース商品の設計とウェブ開発
この記事は、datatech-jp Advent Calendar 2021 の10日目の記事です。 技術部データ基盤チーム データサイエンティストの zaimy です。 今回、ペパボの職位制度におけるシニアポジションの一職種として、データサイエンティストの職種要件を整理したので内容を社外にも公開します。 主に、社内でデータサイエンティストについて説明したり、ジュニアポジションの方にデータサイエンティストという職種を知ってもらいこれからのキャリアパスの参考にしていただいたりするために、データサイエンティスト協会とIPAによるスキル定義を元に、ペパボのデータ基盤の定義や、ペパボで活用しているDX Criteria1のテーマに照らして簡潔にまとめたものです。 まえおき: ペパボの職位制度について データサイエンティストとは データサイエンティストのスキルセット 3つのスキル領域の概要 4等級シ
心理学者。キングス・カレッジ・ロンドンの精神医学・心理学・神経科学研究所の講師。2015年に科学的心理学会（アメリカ）の「期待の星（ライジンング・スター）」賞を受賞。『タイムズ』『ワシントン・ポスト』『ワイアード』などに数多く寄稿し、BBCラジオなどの出演もある。 Science Fictions あなたが知らない科学の真実 スタンフォード監獄実験はイカサマだった！ 権威ある心理学研究の100件のうち、再現に成功したのはたったの39％!? 科学の信頼性を根底から揺るがす「再現性の危機」に迫る真実の書、日本上陸！ 科学における不正・怠慢・バイアス・誇張が起きる仕組みを多数の実例とともに解説。既存の本で知ったウンチクを得意げに語る人に読ませたい、真実の書。 バックナンバー一覧 「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ――。 科学の「再現性の危機」をご存じだろうか。心理学、
疫学と経済学、どちらもある要因Xがある要因Yに与える因果的な効果の大きさを推定する「因果推論」に関心があることが多いです。 「選択(セレクション）バイアス」「交絡」「内生性」、多くの用語が因果推論で登場します。 ところが、話をしているとどうも噛み合わないことが多い。よくよく聞くと、 ①同じことを違う用語を使って話している ②同じ用語を使って全く違う概念について話している ことが判明。 先日の勉強会がきっかけで，selection biasの議論が活発におこなわれています． selection biasは疫学，経済学の領域間だけではなく，領域内でも定義が混乱してそう🤔 それぞれの領域の方々が同じ場で議論し合うのは良いなと思います． お互いリスペクトした議論になっているのもストレスフリー🧸 pic.twitter.com/WTbX7sVHIP — Sato@生物統計家 (@Shuntaro
こんにちは。クラシルを運営する、dely CTOの大竹です。Twitterは@EntreGulssでやってます。 dely Advent Calendar 2019、最後の記事です。前回はコマース事業部エンジニアの小川くんが「~OSSから学ぶ~ MVCフレームワークの保守性がモリモリ上がるクラス設計」という記事を書きましたのでそちらも是非。」という記事を書きましたのでそちらも是非。 はじめに今月(2019年12月)、クラシルのアプリ累計DL数が2000万を突破しました。リリースから3年半での達成は、国内のC向けアプリでは最速クラスなのではと思います。 私は、2014年のdely設立の頃からCTOになり、クラシルをリリースした2016年から現在までの過程の全てに関わってきました。 この記事では、リリースから3年半で2000万DLを達成したクラシルの作り方を、"CTO視点"で振り返って書いてい
【参加レポート】Data Platform Meetup vol.2の発表内容まとめ＆最近のDP界隈の話題 - フリーランチ食べたい
本日、開催されたData Platform Meetup vol.2に参加してきました。発表の内容や関連するリンクをまとめました。 data-platform-meetup.connpass.com 開催日時: 2019年12月2日 会場: Pixivさんオフィス Data Platform Meetupとは connpassページからの引用です。 データプラットフォームを設計/開発/利用している方（データエンジニア/データアナリスト/データサイエンティスト/機械学習エンジニア等）がノウハウを発表したりカジュアルに情報交換できるイベントです。 第一回は9月に開催され、定員の120名を大きく超える応募があったように大盛況でした。 【増枠】Data Platform Meetup - connpass 個人的にはeurekaの鉄本さんの発表資料が自分の状況に当てはまることが多く、大変勉強になり
コロナ後も「絶対にデータ分析はやめてはいけない！」初動の悔い、第2波の教訓に | Forbes JAPAN 公式サイト（フォーブス ジャパン）
新型コロナウイルス対策で、厚生労働省のクラスター対策班に4月から有志の社員7人が参画している（詳細は『民間のデータサイエンティストが見た「驚きの内幕」、厚労省の接触データ分析』を参照）、民間のデータ分析会社ALBERT（アルベルト）。 きっかけは同社の松本壮志代表取締役社長が厚労省にアプローチしたことだったが、「もう少し早く動けばよかった」と振り返る。複数の企業経営を経てデータ分析会社の社長に異色の転職をした松本が見た、日本のデータ戦略の課題とは？ ──松本社長は厚労省にアプローチした時、海外の動きを意識していましたか。 民間のデータ分析会社、パランティアが英NHSや米政権と組んで接触追跡のツール開発に取り組むと報道があった。両国とも政府として対応が難しいものは民間に速やかに移譲する。法的な規制やさまざまな制約があっても、政府のリーダーシップで一気にやるという突破力があり、有事における初動
はじめに こんにちは、Gunosy Tech LabのBIチームに所属しているクボタです。 Gunosyではアプリ内のロジックやUI等の変更において数値ベースでの意思決定を行なっています。 例えば新たなキャンペーンでのCVR増加やUI変更によるA/Bテストでのクリック数増加の効果検証などで統計的に裏打された手法を用いることで正しく意思決定を行うことを目指しています。 data.gunosy.io 本記事ではそのような状況で必要となるサンプルサイズの設計や統計的仮説検定のお話をさせていただきます。 はじめに 検定手法の選択 統計的仮説検定の手順 比較する指標の選定 帰無仮説 と対立仮説 の決定 検定統計量の選定 有意水準の決定 検出力の決定 効果量の決定 サンプルサイズの計算 ノンパラメトリック検定 多重比較 おわりに 参考文献 検定手法の選択 数値による意思決定を行う際に検定はよく利用され
TechCrunch
Welcome, folks, to Week in Review (WiR), TechCrunch’s regular newsletter that highlights notable tech industry happenings over the past few days. Life moves pretty fast, as a young Matthew Brode
2020年4月7日の、安倍首相による緊急事態宣言の発令により、新型コロナウイルス感染症（COVID-19）パンデミックへの対応は、新たなステージに入った。わが国の感染症対策が、結果としてどのような結末をもたらすのか、疫学等の専門知識を持たない筆者には、到底、推測する術がないが、社会科学を学ぶ者として、1つの注意喚起を書き記してみたい。 現在の議論は、いかにして感染拡大を抑え込むか、という点に集中している。わが国は、まさに爆発的感染拡大の崖っぷちにあるのだから、これは当然だが、最大限の余力をもって、感染拡大収束後の事態も想定した議論も底流でなされなければならない、というのが本稿の趣旨である。 1918年パンデミック 今回のパンデミックを契機に言及されることも多かったが、1918年の春に北米と欧州で第一波の感染流行が発生したインフルエンザは、その後、1918年の秋に毒性を強めて全世界で致命的な
人工知能（AI）の研究や開発をリードする「トップ級人材」の約半数が、米国に集中していることが分かった。日本は世界の4%にとどまり、中国や英国にも後れを取る。海外で専門教育を受けたAI人材が少なく、多様性の欠如という課題も浮かぶ。AIはデータを経済に生かすデータエコノミーの中核技術だ。最先端の研究を担う層が手薄だと競争力が落ちかねない。政府や企業は挽回に動き始めた。カナダのAIスタートアップ「エ
はじめに こんにちは、19卒でGunosy Tech LabのBIチームの齊藤です。 data.gunosy.io この記事はGunosy Advent Calender 2019の4日目の記事です。昨日の記事は高橋さん(@tkhs0604)によるプロダクトマネージャーカンファレンス2019 参加レポート でした。 はじめに 背景 ベイズ統計 例: 継続率 事後分布のプロット 継続率以外の指標は？ おわりに 背景 GunosyではUI・ロジックの変更等を行う際にA/Bテストにより効果検証を行っています。 data.gunosy.io 上記のブログの通り、従来の（頻度論に基づく）仮説検定ではA/Bテストを開始する前に有意水準、検出力、効果量を定めてサンプルサイズを求めなければなりません。またサンプルサイズを定めても必要なサイズを満たすのに何日かかるかも不透明であり、施策の実行→A/Bテスト→
「機械に代替されないデータサイエンティスト」に必要な能力とは？：これからのAIの話をしよう（コンサル編）（1/3 ページ） 「機械学習や統計学を駆使するデータサイエンスビジネスの世界は、どうやら人月商売（※）ではうまくいかなそうだ」という考えが浸透したのが平成の終わり。しかし、AI・データ活用に正解はなく、令和になったいまでも各社手探りの状況が続いています。 企業は、どうすればデータサイエンティストの能力を最大限に発揮させ、ビジネスを拡大できるのでしょうか。組織を運営するマネジメント層と、現場で働くデータサイエンティストが真剣に考えている課題です。 データ分析組織を立ち上げた企業や、データサイエンティスト自身が意識すべきことについて、コンサルティング事業を手掛けるイーストフィールズ創業者の東野智晴さんに聞きました。東野さんは2009年ごろからデータ分析業務をしており、さまざまな案件を担当す
※長いです。あと、画像少ないです(すみません)。。(約6,700字：読了5分~10分) 目次リンクを置いておくので、特定の情報を探している方はリンク遷移してご覧ください！ 本記事について インハウスでデータ活用をする際の業務フロー いろんなデータポジション集めてみた データサイエンティスト データアナリスト データエンジニア データアーキテクト 機械学習エンジニア(AIエンジニア) データコンサルタント データマネジメント/データガバナー その他の職種 なぜポジションがこんなにたくさんあるのか おまけ 本記事について こんにちは！データ戦略室の小山です。 データアナリストとして事業部のデータ活用浸透に取り組んだ後、現在はデータ戦略室全体のプロジェクトマネジメントや組織運営を担っています。 突然ですがみなさん、｢データ系の職種っていまいちよくわからんな｣と思ったことはないでしょうか？？ 最近
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データサイエンティストに王道無し - 渋谷駅前で働くデータサイエンティストのブログ
データサイエンティストを目指す人におすすめの資格・コンペ｜難易度や試験内容も解説
「効果検証入門」をPythonで書いた - Qiita
データサイエンスのためのPython入門①〜DockerでJupyter Labを使う〜
無闇にデータサイエンティストを雇うのをやめよう。 | AI専門ニュースメディア AINOW
統計的因果推論入門の講義資料を公開しました - Unboundedly
データサイエンティストの嘘と欺瞞を見破る7つの方法 | AI専門ニュースメディア AINOW
データサイエンティストが副業で成果を出すためのチェックリスト | Offers Magazine
今までやってきたあなたなら「絶対にできる！」 データサイエンスの世界に入るということは“強くてNew Game”
なぜ多くのデータサイエンティストが優良企業の良い仕事を辞めるのか | AI専門ニュースメディア AINOW
人工知能の欠点、破局的忘却とは？ – 株式会社ライトコード
ビッグデータ分析、新卒年収は１０００万円以上 東大生の人気職種に（産経新聞） - Yahoo!ニュース
データエンジニアリングにおける人事評価基準 - 下町柚子黄昏記 by @yuzutas0
FacebookのMMMのOSS「Robyn」のチュートリアルさわってみた – かものはしの分析ブログ
「意思決定」の視点がないデータ分析が失敗する理由 元大阪ガスの河本薫氏が解説
行動ログデータからのユーザーアンケート予測モデルを作り、ユーザーの嗜好分類をする - エムスリーテックブログ
東洋経済「新型コロナウイルス 国内感染の状況」サイトが大反響を生んだ理由は？ 制作者のデータ可視化デザイナーに聞く - エンジニアtype | 転職type
ペパボにおけるデータサイエンティストの職種要件をまとめました - Pepabo Tech Portal
【統計学「p値」の謎】統計学好きでも意外と説明できない「p値」の正体
選択（セレクション）バイアスとは？人によって定義が違うので整理してみた。 - Unboundedly
CTO視点で振り返るクラシルの作り方【2000万DL突破】｜大竹雅登/dely
より正しい意思決定のための統計的仮説検定とサンプルサイズ計算 - Gunosyデータ分析ブログ
特別コラム「パンデミックは収束すれば「終わり」ではない：長期的な影響にどう備えるか」
AI人材、世界トップ級の半数が米に 日本は4%弱 - 日本経済新聞
A/Bテストの時間短縮に向けて 〜ベイズ統計によるA/Bテスト入門〜 - Gunosyデータ分析ブログ
「機械に代替されないデータサイエンティスト」に必要な能力とは？
【研究記事】データに携わる職種一覧 - Leverages データ戦略ブログ