入門 統計的因果推論 | MoT Lab (GO Inc. Engineering Blog)
AI技術開発部分析グループマネージャーの島田です。分析グループは、タクシーアプリ「GO」におけるデータドリブンなビジネス意思決定を行うために、様々なユーザ分析、乗務員分析を行っています。本記事では、分析グループ内で開催した統計的因果推論の勉強会について紹介したいと思います。 勉強会のモチベーション「データドリブンなビジネス意思決定」という文脈においては、機械学習モデルの精度を向上させる能力はあまり重要ではありません。どちらかといえば、物事をどうモデリングすべきか不明なケースで、状況を整理して課題を明確にし、適切に定式化したり、データ分析に落とし込む能力が重要で、その一助となるであろう「統計的因果推論」をチームのスキルとして身につけようということで勉強会を開始しました。つぎのような場面で統計的因果推論が活躍してくれることを期待しています。 A/Bテストでは効果なしとなったが、あるサブグループ
SHAPで因果関係を説明できる？
2023年6月19日に社内で発表したLT資料です． SHAPでありがちなミスリーディングや，特徴量が予測に与える影響（因果効果）を推定できるケースについて紹介しました． 資料内で出てくるリンクは以下です（参照日: 2023年6月13日） https://arxiv.org/abs/2011.01625 https://christophm.github.io/interpretable-ml-book/shapley.html https://christophm.github.io/interpretable-ml-book/shap.html https://econml.azurewebsites.net/ https://qiita.com/s1ok69oo/items/0bf92b84e565789a2191 https://shap.readthedocs.io/en/late
ベイズ統計学入門 〜頻度主義からベイズ主義へ〜
connpassで開催した勉強会『ベイズ統計学入門 〜頻度主義からベイズ主義へ〜』の内容スライドです。 統計学は、「データに潜む規則や構造を抽出し、現象の理解や未知の現象に対する予測を行う」ための学問です。 実験や社会調査の解析だけではなく、ビッグデータ分析やAI開発でも統計学は不可欠であり、現代人にとって必須の学問と言っても過言ではないでしょう。 一方で、その背後には単なる数学的論理には収まらない様々な哲学的問題が横たわっています。 そんな統計学の歴史にあって、最大にして今なお継続中の議論が、ベイズ主義vs頻度主義についてでしょう。 統計学が台頭してきた19世紀から20世紀には、頻度主義が主流でしたが、21世紀になった今やベイズ主義こそが統計学の主流になりつつあります。 ベイズ推論は、自動運転から迷惑メールフィルタリング、画像復元やノイズキャンセリングなど、様々な分野に爆発的に応用されて
データサイエンスを記述と予測と因果推論に分類する
A Second Chance to Get Causal Inference Right: A Classification of Data Science Tasks を読んだまとめです。 モチベーション 業務で予測モデルの構築や、予測モデルを用いる機能の検討を行うことが多いのですが、本当に必要なのは予測ではないと強く感じています。実際、予測モデルを適用したい業務については次の状態です。 現状で業務の中で予測を行っていない 予測を行いたい理由を聞くと、予測結果がどのような特徴に左右されるのか知りたいという 同様にヒアリングすると、予測結果を高めるためにはどのような介入を行えばよいか知りたいという この状態でも予測モデルを作成することはできますが、予測結果を業務に組み込むことは著しく困難です。現在の業務フローが予測結果に基づくものでないため、予測結果を提供しても既存の業務フローでは用いら
パッケージを使わないで、一般化線形混合モデルのMCMCアルゴリズムを1から作る． - Data Science by R and Python
こんにちは． 金曜日の夜になり、激しめの睡魔に襲われております． 先日のこちらの記事で公開したスライドの後半にあるシミュレーションで、地域差を考慮したPoisson - Normalモデルを構築しているのですが、そのコードを載せておきます。tomoshige-n.hatenablog.com MCMCを自分で設計 最近だと、MCMCはStanだったり、BUGSだったり、色々と便利なツールもできてきていて、パッケージを用いて推定している人も多いみたいです。が、僕は、なんというか、中で何してるのかが気になって、提案分布の設計とか実際のところ、どうしてるのかとか、ステップ幅をどうやって決めてるのかとか、自動的にやられてしまうのはどうも気持ち悪いので、自分で書いてみましょうということになってしまいがちなんですよね。 ということで、ポアソン分布で、個体差を考慮できるようなMCMCのアルゴリズムを書い
モデルの意思決定がわかるベイズ因果推論手法を提案してみた - Qiita
はじめに こんにちは、事業会社で働いているデータサイエンティストです。 本記事では、異質処置効果モデルを提案してみます。 共変量によって処置効果がどう違うかを推定できるだけでなく、推定のプロセスの可視化までできる手法です。 ぜひ最後まで読んでください！ 因果推論の問題意識と既存手法の限界 皆さん、ビジネスやアカデミアで以下のようなことを聞かれた経験はありますか？ 営業部のマネージャ：新しい営業施策の処置効果はどこの部署のKPIで計算されたの？ 学会の参加者：内戦の経済効果の推定にアメリカのデータも入れてるの？ 全然違う観測値を比較してはいけない、というのがこの二つの指摘に共通している前提です。因果推論でいうと共変量をきちんと揃えないと信頼性が問われるということです。 共変量のバランスを揃えるために様々マッチング系の手法が開発されました。一番有名な傾向スコアマッチング（Rosenbaum a
生存時間分析入門 | 株式会社ARISE analytics（アライズ アナリティクス）
初めまして。Social Innovation Divisionの木本と申します。 普段の業務では、ヘルスケアアプリで収集されるデータの分析を行っています。 本記事では生存時間分析について概要を説明した後、通信会社の顧客離脱に関するサンプルデータを用いたマーケティング分野での活用例を紹介します。 生存時間分析とは あるイベント(例えば疾病発症)が起きるまでの時間に焦点を当てる分析方法を生存時間分析といいます。 例えばAさんが何年後に「疾病を発症するか」知りたいとします。生存時間分析を行うと、Aさんについて、①生存関数と呼ばれる時点ごとの生存確率の予測値が取得できます。また、②生存確率に対する発症タイミングを予測することができます。 生存時間分析の流れ あるデータに対して生存時間分析を用いる場合、生存期間とイベント発生有無について整理する必要が出てきます。 ここでイベント発生無しと定義したデ
因果推論における未観測の共変量の影響を考える感度分析 - 名前はまだない
はじめに 数年前に岩波書店の確率と情報の科学シリーズの星野崇宏 著「調査観測データの統計科学」を読んでいきまとめていました。 調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学) 作者:星野 崇宏岩波書店Amazon しかし、感度分析の部分について放置していたので、今回まとめました。 隠れた共変量によるバイアス 適切に因果効果を推定するにあたり、共変量は全て観測されている状態であることが求められます。 しかし、実際の観測データでは全ての共変量は観測されていない可能性が高いです。 観測されていない共変量が存在するとき、重回帰分析や傾向スコアを用いた分析により推定した因果効果にバイアスがのってしまいます。 未観測の共変量の影響を分析する 隠れた/観測されてない共変量が存在している場合に因果効果の推定値にバイアスが乗る事は避けされないことがわかっています。
初めてのコーシー分布 - Qiita
コーシー分布について調べる必要があり、色々Google先生に聞いていました。 なのですが、ほとんどが期待値と分散が存在しないという話しか教えてくれず、かなり苦戦しました。 Wikipediaが一番詳しかったような感じがしましたが、計算方法とかは載っていないからモヤモヤするし、英語の文献とかだと詳しいのあったけど、そもそも英語読むの大変だし。。。 日本語である程度まとまっているのが読めたら、何人かはハッピーになるかなということで、今回はコーシー分布について書いていこうと思います。 １．確率密度関数 コーシー分布の確率密度関数は、以下で与えられます。 f(x) = \frac{1}{\pi \left( 1+x^2 \right)} \;\;\; (-\infty < x < \infty) \tag{1.1} import numpy as np import matplotlib.pypl
Gmail の優先トレイの論文を読んだ - @nojima's blog
最近、会社のグループウェアの通知がやたらと多い。 人によっては全ての通知を見ているらしいんだけど、自分の場合は自分宛て通知はみるけど、それ以外の通知は一部しか読んでない。 どうせ一部しか読まないのであれば、できるだけ価値のある通知を読みたいので、通知の中から読む価値の高い上位件をフィルタしてくれるプログラムを書きたい。 そういうわけで、偉大な先駆者である Gmail の優先トレイのアルゴリズムに関する論文『The Learning Behind Gmail Priority Inbox』を読んでみた。 Gmail 優先トレイ 優先トレイは、ユーザーごとの統計モデルを用いて、メールを重要度でランキングすることにより、information overload を軽減する試みである。 チャレンジ: メールの重要度をユーザーの明示的なラベリングなしに推定する 非定常的かつノイジーな訓練データを扱え
メタ学習（meta-learning）の紹介：Regression版で今年の東京の気温を当ててみました～ | GMOインターネット 次世代システム研究室
2018.10.01 メタ学習（meta-learning）の紹介：Regression版で今年の東京の気温を当ててみました～ こんにちは。次世代システム研究室のK.S.（女性、外国人）です。 夏休みはいかがでしたか？ 暑い日々がそろそろ終わり、これからは涼しくなって行くでしょう。では、来月の気温はどれくらいになるでしょうか？ 気温がよい感じで下がってくれれば、秋には綺麗な紅葉が見られるかな？ 紅葉を楽しみにしているので、機械学習の関連技術を利用し、東京の気温を予測してみたいなあと思いました。 最近、International Conference on Learning Representations (ICLR)といった有名な機械学習の学会が去年の3つの最優秀論文を発表しました。その中の一つは メタ学習についての論文 でした。発表結果を聞いて、え、meta-learningってなんです
状態空間モデルのれんしゅう（レストランの来客予測） - rmizutaの日記
はじめに 時系列解析を行う上で、状態空間モデルが現状使用できる手法の中で優れているのではと自分の中で話題だったので、 使ってみることにしました。 状態空間モデルを使うことの目的 時系列解析を行う上でもモデルの種類は無数にあるのですが、 どういう場合に状態空間モデルを使うのでしょうか？ この部分については以下のサイトに詳しく書かれていました。 https://logics-of-blue.com/%E3%81%AA%E3%81%9C%E7%8A%B6%E6%85%8B%E7%A9%BA%E9%96%93%E3%83%A2%E3%83%87%E3%83%AB%E3%82%92%E4%BD%BF%E3%81%86%E3%81%AE%E3%81%8B/ 状態空間モデルはデータが得られるプロセスとは何か？を重視したモデルであり、 回帰分析よりも各要因の影響が納得性の高い形で見ることができ、またその構
Neural Tangentsによる無限幅深層ニューラルネットワークの構築とベイズ推論
要点¶Neural TangentsはGoogle AIが開発したJAXのラッパーライブラリです。無限幅 (中間層のユニット数$\to \infty$)のニューラルネットワーク (以後, NN: neural networks)を高速かつ簡単に構築及び学習させることを目的としています。 Neural Tangentsでは無限幅のNNを学習させる手法としてNNGP (Neural Network Gaussian Process)と NTK (Neural Tangent Kernel)の2つを実装しています。 この記事ではNNGPとNTKの要点を紹介し、Neural Tangentsを用いた実装について紹介していきます。 Neural-Tangentsに関連する文献¶ Paper : https://arxiv.org/abs/1912.02803 OpenReview : https:/
Stan でパラメータに大小関係の制約をつける - ほくそ笑む
EC サイトなどでは、1 ページの読み込み時間の平均値が短いユーザほどコンバージョン率が高くなるという話があります。 この原因については、サクサク読み込みが終わる速いサイトの方がユーザは気前よく購入する、というわけではなく、単に速い回線を持つほどお金持ちなので購入しやすいという身も蓋もない話もあります。 今回はこの原因についてではなく、制約条件が付いた時のパラメータ推定の話をします。 とりあえず擬似データを作成しましょう。 true_cvr <- c(0.209, 0.126, 0.096, 0.093, 0.086, 0.077, 0.067, 0.057) load_time <- c("0-1", "1-3", "3-7", "7-13", "13-21", "21-35", "35-60", "60+") session <- c(1000, 6000, 4000, 1500, 7
『Pythonではじめる数理最適化』の7章「商品推薦のための興味のスコアリング」をStanで解く
この記事は確率的プログラミング言語 Advent Calendar 2023の12/8の記事です。 概要 『Pythonではじめる数理最適化』はいい本ですよね。親しみやすい実例、分かりやすい数式、きれいなPythonコードと三拍子そろっています (今年のアドカレで改訂版が近いうちに出ることを知りました)。 7章「商品推薦のための興味のスコアリング」では、「何日前に直近の閲覧があったか」と「閲覧回数」の二つの軸で興味のスコアを考えます。興味のスコアが単調減少であるという制約のもと、再閲覧の割合と推定値の二乗誤差を最小化するという凸二次計画問題として解いています。この記事ではStanで解くとこんな感じですというのを示します。メリットとしてベイズ信頼区間も推定されます。 データ 公式のリポジトリの7章のipynbファイルを途中まで実行して得られるデータフレームrf_dfを使用します。他の人の扱い
IPW推定の活用で工夫したこと｜グロービス・デジタル・プラットフォーム
はじめにこんにちは！グロービスのデータサイエンスチームでデータサイエンティストとして働いている菅沼です。 2021年7月からグロービスに参画し、ビジネススキルを動画で学べる GLOBIS 学び放題 というサービスについて、行動ログやアンケート調査データの分析を担当しています。 以前、GLOBIS学び放題における施策の効果検証に統計的因果推論を導入した取り組みについてご紹介しましたが、今回は統計的因果推論のIPW推定を実務に適用する際に工夫してきたことをご紹介できればと思います。 尚、IPW推定の詳細については、ここでは触れませんので、下記に記載の参考文献をご参照ください。 活用上の工夫とは前回の記事でも書きましたが、因果推論のテキストは理論面での記載は充実していても、実際の業務にどのように適用するかは現場担当者が考えることが求められます。因果推論の中で最もよく使われる手法の一つであるIPW
階層ベイズを用いた地域ごとの家賃の変化の推測 - Gakushukun1’s diary
目的 RStanによる階層ベイズを用いて, 日本の各地域ごとの家賃の変化を推測する. 今回は, e-statの日本の様々な町ごとの1991年と2000年の家賃のデータを用いて, 各地域の家賃の変化の推測を行う. その際, 日本全体で大まかな変化の傾向があることを仮定して, 階層ベイズモデルを適用する. 具体的には, データに含まれる67箇所の都市を6つの地域(北海道&東北, 関東, 中部, 関西, 中国&四国, 九州)に分類して, 次のようなモデルにより線形回帰を行う. (ただしはサンプル点の所属する地域を表す) このモデルでは, 地域のX(1991年の家賃)とY(2000年の家賃)の関係を示す線形モデルのパラメータが, 平均, 標準偏差の正規分布から生成されていると考える( も同様に平均, 標準偏差の正規分布から生成されているとする). また, 標準偏差は, ごとに定数1.0とをパラメー
スポーツを機械学習する ～ Jリーグを事例にした分析 ～② - Qiita
だいぶ期間があいてしまいましたが、以下の投稿の続きを報告したいと思います。 https://qiita.com/ryouta0506/items/100a2b252fbaeb73f493 続きといっても、使用するモデルを変えてみようというものです。 前回の報告では、得点はポアソン分布に従うと仮定しました。結果は、予測得点が０点・１点に集中して２点と予測するケースがほとんどありませんでした。サッカーにおいて３点より多いことは希少なので予測できなくても仕方がないと割り切れるのですが、やはり２～３点は相応の割合で予測できていないとうまくありません。そこで、他の確率分布を試したいと思います。 負の二項分布を使用 ポアソン分布は、その定義上、期待値=分散をいう関係にあります。これは、期待値が小さいとバラつきも小さくなり、大きくなると大きくなるということを意味します。サッカーの得点のように基本的に０点
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「回帰分析から分かること」と「変数選択」
しなやかな項目反応モデル
