『Pythonでスラスラわかる ベイズ推論「超」入門』を読んでみた。 - いものやま。
『Pythonでスラスラわかる ベイズ推論「超」入門』を読んでみたので、軽く感想とか。 Pythonでスラスラわかる ベイズ推論「超」入門 (KS情報科学専門書) 作者:赤石 雅典講談社Amazon 概要と感想 ベイズ推論の本はいろいろあるけど、この本は理論というよりツールとして活用することに重きをおいた感じの本。 サンプリングをどう計算するのかとかはライブラリ（PyMC）に任せてしまって本では解説せず、統計モデルの作り方と得られたサンプリングの結果の使い方の解説が中心になってる。 数理最適化でたとえると、単体法とかの解説はしないでPuLP使ったモデリングの解説をしている感じ。 そういうこともあってすごく読みやすかったし、実用としてはこういう本の方が助かるよね。 別に研究者として新しいアルゴリズムを作りたいとかでもないし。 数理最適化もそうだけど、理論とか勉強しても実際に使うときはライブラ
pythonによる共分散構造分析 ～MMMを添えて～ - Qiita
はじめに 共分散構造分析をする時、どうすればいいだろうか。 Amos？いやいや有料だし、R？いやいやメインで普段使っていないし、python？いやいや共分散構造分析簡単にできないんじゃ…。 ﾄﾞｳｿﾞ( ´·ω·)つ [semopy] ということでpythonで共分散構造分析が簡単に？できるsemopyを使用してみた。 実務で使うような想定でMMM(マーケティングミックスモデリング)の真似事をしながら試してみて、結果をlavaanやAmosの結果と比較した。 ちなみにMMMのことはほとんど知らないので調べながら実践。 結論を言うと、実務でも使えるツールだと思う。 参考文献 共分散構造分析[Amos編] － 豊田 秀樹(著) Pythonによるマーケティングミックスモデリング（MMM：Marketing Mix Modeling）超入門 その2 MMM（マーケティングミックスモデル）をRob
傾向スコアを用いてバイアス補正する方法 - Qiita
となりそうな気がします。。。 本当でしょうか？ もちろんこれで十分な場合もあります。しかし、(1.1) では、広告以外の影響が紛れ込んでいることが多々あります。 例えば、普段からよく買い物をしてくれる優良ユーザにだけ広告が打たれていたとしたらどうでしょう。(1.1) 式の1項目は優良ユーザの購買額に大きく引きずられます。一方で、2項目は普段からあまり買い物をしてくれないユーザが集まり値が小さくなります。引き算をしているので、これも (1.1) の値を底上げする方向に働きます。以上の結果として、広告効果を過大評価してしまうことになるでしょう。 このようにデータには本来は見るつもりのなかった偏りが忍び込んでくることが多々あります。この偏りをバイアスと呼び、広告効果を正しく評価するためには、バイアスをいかにして除去するかがカギとなります。 並行世界からの救済「反実仮想」 さて問題は、「バイアスを
階層ベイズで個性を捉える(PyMC ver.5.7.2) - Qiita
はじめに あまりベイズモデリングを勉強していなかった私。 なんとなくどういった場面で使うべきか思いつかなかったから。 いくつか本は持っていたが、積んだまま。 そんな時に以下の資料を見た。 GLMMの紹介 GLM→GLMM→階層ベイズモデル 階層ベイズによるワンToワンマーケティング入門 「え、個体ごとにパラメータ出せるんだ！？めっちゃええやん。」 特にOne-To-Oneマーケティングが可能ってことが魅力的だった。たまにマーケティング関連の分析をすることもあり、クラスタリングでマイクロマーケティングなら実践したことがあったので、いっちょ勉強してみっか！と動き出したのだった。 てか階層ベイズのお勉強して思ったが、SEMとかもやろうと思えばベイズモデル化できるんだよな、多分。 今回は仮想購買データを使って、階層ベイズモデルを構築し、個人ごとに良さげなパラメータが求められているか確認してみる。
第２章「正直に回答しづらい違法行為の経験率の推定」のベイズモデリングをPyMC Ver.5 で｜ネイピア DS
この記事は、テキスト「たのしいベイズモデリング２」の第２章「正直に回答しづらい違法行為の経験率の推定」のベイズモデルを用いて、PyMC Ver.5で「実験的」に実装する様子を描いた統計ドキュメンタリーです。 テキストは第２章から第４章まで「間接質問法」の各種手法で「違法行為等の経験」の調査データを用いたベイズモデリングに取り組んでいます。 この章では、「アイテムカウント法」を用いて違法行為の経験率を推論します。 カウンター・数取器のイラスト：「いらすとや」さんよりテキストのモデル数式の解読は難しかったですが、なんとかPyMCモデルを構築できました。 そして「２」初の「無事の収束」と「結果の一致」を迎えることができました！ さあ、PyMCのベイズモデリングを楽しみましょう。 サマリーテキストの概要執筆者 ： 久保沙織 先生、豊田秀樹 先生、岡律子 先生、秋山隆 先生 モデル難易度： ★★
LightweightMMMのモデルの解説 - Qiita
1.Marketing Mix Modeling(MMM)とは MMMとは，複数の広告への投資がそれぞれKPIにどの程度影響するかを推定し，投資配分を最適化するための手法を指す． 例：アプリ広告・Web広告・雑誌広告がそれぞれ売上にどれぐらい影響するかを調べる． 歴史のある手法だが，各広告への支出とKPIのデータだけあればよく，個人情報を利用しないため，クッキーレスの流れに伴い近年注目されている． 様々なベンダーがサービスを提供しているのに加え，GoogleのLightweightMMM，MetaのRobyn，UberのOrbitなど，近年ビッグテック企業が相次いでパッケージを公開している． 手法としては，近年はベイジアン非線形時系列モデルが用いられることが多い． 2 LightweightMMM(Google)について 2.1 LightweightMMMとは GoogleがJin et
PyMC+JAXでイベント参加率の比較する - Qiita
はじめに この記事はHappy Elements Advent Calendar 2020の22日目の記事になります。 データアナリストとしての立場で書かせていただきます。 本記事の内容 Happy Elements株式会社では「Make The World Happy!」というスローガンを掲げ、「ゲーム」を通じた喜びや感動をお届けすることで、沢山の人々にほんの少しでも幸せを感じてもらうことを目指しています。 そういった活動の中で、データ分析チームは、ゲームの「現状を知り、お客様に盛り上がっていただくためのボトルネックを解消する」ための分析を日々しています。 本記事では、そんな分析の中から、一番最初に行う「現状を知る」ための手法を一つご紹介させていただこうと思います。 内容としては「ベイズ推論によるイベント参加率の比較」です。 作業はGoogle Colab上で行い、主なツールとしてPyM
未観測でも因果探索したい！BottomUpParceLiNGAMとCAM-UVの紹介 - Qiita
この記事はNTTコミュニケーションズアドベントカレンダー12日目の記事です。 こちらの記事では、巷で話題の統計的因果探索の手法群を総合的に集めたlingamライブラリの紹介と、実際に利用した例を紹介します。この手法群の元祖かつ代表であるLiNGAMは様々なサイトで紹介されているので、今回は 未観測変数を考慮したBottomUpParceLiNGAM 非線形かつ未観測変数を考慮したCAM-UV の２種についてLiNGAMプロジェクトの公式チュートリアルを参考に紹介します。さらに、巷のオープンデータに適用してみて考察を行います。なお、この記事では各手法の性質については記述しますが、理論的な背景や式の導出の解説はしませんので、あらかじめご了承ください（ここから先は自分の目で（以下略）） 統計的因果探索とは 統計的因果探索は複数の仮定を基にデータから因果グラフを生成する手法のことです。主に離散変数
ベイズ最適化ツールBoTorch入門 - Qiita
Intro Optunaの記事2本に続いて、ガウス過程によるベイズ最適化ツールBoTorchを扱います。 BoTorchはFacebookが開発を主導するベイズ最適化用Pythonライブラリです。ガウス過程部分にはPyTorchを利用した実装であるGPyTorchを利用していますが、獲得関数や候補点提案などに関する最新の手法をサポートしており、最小限の労力で最新のベイズ最適化を実行できます。特に獲得関数の工夫により、複数点の同時提案や多目的最適化などに対応できる点が特徴です。 通常は同じFacebook主導のパッケージであるAxから利用することが想定されていますが、ガウス過程や周辺手法を隠蔽せず細かく調整する場合はBoTorchを直接使用することになります。（Optunaからも一部機能が利用できるようになっています。） 本記事では、BoTorchに実装されている最新手法を学ぶ準備として、B
因果関係の推定 〜Pythonによる傾向スコアマッチングとIPW〜 - 見習いデータサイエンティストの隠れ家
中学生のときに目がよく合うと感じた人がいたら、それは自分に絶大な好意を持っているからだと思い込んでいましたよね。しかし、現実は思い出のままでした。それは、「よく目が合う」ことと「好意を持つ」ことは相関しているかもしれませんが、因果の関係とまでは言えないからです。自分の隣の人をガン見していたついでに自分を見ていただけかもしれません。まさに想いの交絡です。 正常な話に戻すと、因果を見つけることは大事です。因果がわかると次に何が起きるかを間違えることなく予測できます。まさに、預言者です。相関と因果は違うというのは頭ではわかっています。しかし、相関の壁を飛び越えていける人はごく僅かです。そこで今回は、因果関係を定量的に測定する統計的因果推定をPythonを使って行います。先人の方々が同じような内容をすでに書いていますが、傾向スコアマッチングとIPWの結果が異なっているという結論が多かったので、IP
あてはまりのよい確率分布を探したい - rmizutaの日記
はじめに データを眺めていると、ある分布に対してそれが正規分布に従うのか、対数正規分布か、それともガンマ分布の方が近いのか？、というようにどの分布の当てはまりがよいかが気になることがあると思います。 これを確認する方法を探してみたところ、scipy.statsを使えばできそうだったのと、fitterというライブラリもあったので、それらを試してみた結果を記述します。 実験 scipyを使う 実装はnumpy - Fitting empirical distribution to theoretical ones with Scipy (Python)? - Stack Overflowを少しだけ修正したものです。入力に対してscipy.statsに登録されているすべての確率分布のパラメータを最尤推定した結果の平均二乗誤差を比較することで最もあてはまりのよい分布を求めます。 scipyには80
pystanによる将棋プロ棋士の実力値モデリング【先手と後手での実力差可視化】 - Qiita
こんな人におすすめ 将棋が好きな人 pystanによる統計モデリングに興味がある人 藤井聡太二冠の実力がすごいのかを知りたい人 この記事でやったこと 棋士ごとに先手、後手で実力値がどの程度違うかを検討 pystanを用いて将棋のプロ棋士の実力値をモデリング 棋士の実力は対局ごとにばらつきのある正規分布としてモデリング 将棋レーティングサイトから対局結果をスクレイピングした結果を使用 はじめに 藤井聡太二冠、強いですよね。テレビで取り上げられたりするなど将棋の露出度がましています。 プロの将棋でよく取り上げられる議題は、後手番は本当に不利なのか？というもの。普通に考えたら一手先にさせる分先手が有利そうです。事実としてプロの将棋では先手番の勝率の方がやや高くなっているそうです。(先手番勝率が53%程度) しかし、それは将棋界全体でみた場合のはなし。実際は、棋士ごとに先手、後手どちらが得意かとい
Pythonによる構造方程式モデリング（SEM）, 共分散構造分析入門 - Qiita
はじめに Pythonを使って構造方程式モデリング（Structural Equation Modeling, SEM）を実行する必要がありました。 しかし、参考となる日本語記事が皆無に近かったため、自分でまとめ記事を書くことにしました。 構造方程式モデリングとは 構造方程式モデリングとは、共分散構造分析とも呼ばれます。 SEM（えす・いー・えむ）と呼んだり、SEM（せむ）と呼ぶひとがいます。 構造方程式モデリングの歴史 1960年代から1970年代にかけて、コンピュータに実装するカタチで生まれたと言われています アルゴリズムの種類 連立方程式回帰法 反復最尤アルゴリズム 反復正準相適合アルゴリズム など、色々なアルゴリズムがあります。ここを深堀り始めると、もう戻ってこれなさそうです。 ですから、今回は割愛します。 構造方程式モデリングの魅力 個人的には、因子モデルと回帰モデルを同時に実行
TensorFlowで統計モデリング
7. Prophetの短所 トレンド関連 • トレンドがペキペキ折れ線で検出しにくい場合がある. • トレンドが滑らかにならずジグザグになる場合がある. • トレンドがペキッと変わることを予測するのが難しい. • 以上から, トレンドの予測が良くない場合がある. その他の機能 • 出力が多次元の時系列に未対応. • 任意の非線形関数や減衰するイベント効果に未対応. その前に, Prophetのモデルを理解してますか？ 7 8. 統計モデルを理解しよう 理由 • 現実は, ツールの前提条件をいとも簡単に破る！ • そのとき, 自分で拡張できると楽しい. • 拡張するには, 統計モデルの理解が必須. 8 アルゴリズム 統計モデル 前提条件・適用範囲 長所と短所ここまでの理解は 分析に必須 できればここまで 理解してほしい！ • 手法を実装したツールのレイヤー
DoWhyとEconMLによる因果推論の実装
2022年11月30日にLabBase様主催のイベントにて登壇させていただいた際の発表資料です。Pythonライブラリ"DoWhy"や"EconML"を用いた因果推論についてまとめてありますので、ご一読いただけますと幸いです。 参考リンク（自身のブログ） - PythonによるT-Learnerの実装 https://zenn.dev/s1ok69oo/articles/4a36fee0297234 - Pythonライブラリ"DoWhy"を用いた因果推論 https://speakerdeck.com/s1ok69oo/pythonraiburari-dowhy-woyong-itayin-guo-tui-lun - 機械学習で因果推論 https://zenn.dev/s1ok69oo/articles/1eeebe75842a50
PythonによるSARIMAXモデルを使った「TVCMの効果検証」への挑戦 - LIFULL Creators Blog
※この記事はLIFULL Advent Calenderの20日目です こんにちは! LIFULLでデータアナリストをしている竹澤(@Akira Takezawa)です. 今回は, LIFULLのデータアナリストチームの取り組みを紹介します. 本記事はデータ分析に興味がある方を対象に, 「マーケティングの実務で生かせる時系列分析」をテーマに執筆しました. まず, なぜこの記事を書いたかを簡単に説明します. 近年, 機械学習やディープラーニングの台頭を筆頭に近年データ分析の手法は爆発的に増え続けています. 一方で実際のビジネスの現場で見えてくるのは, 「派手さや新しさのみに捉われず, 古今東西変わらず価値を提供し続けてきた分析手法こそ重要ではないか」というもう一つの側面です. 具体的には相関・回帰分析や検定などがそうですが, 同時に「時系列分析」もビジネスの世界で活用機会が多く, パワフルな
[Python]健診データを次元削減してみた：PCAとUMAPによる次元削減｜あおじる
はじめにこんにちは、機械学習勉強中のあおじるです。 これまで、全国健康保険協会（協会けんぽ）の医療費データを使っていくつか記事を書きました。 今回は、別のデータとして健診のデータを使ってみました。 データの取得全国健康保険協会（協会けんぽ）のホームページから健診データを取得します。 場所は、「統計情報」の「医療費分析」というページの中に年度ごとのデータがあります（年度によって資料の様式が違っていて探しにくいですが。）。 令和元年度～平成29年度（2019～2017年度） 「1．都道府県医療費の状況」という資料のバックデータのエクセルファイルの中に年度ごとの集計があります。https://www.kyoukaikenpo.or.jp/g7/cat740/sb7210/sbb7211/bunseki1/ 平成28年度～平成23年度（2016～2011年度） 「3．都道府県医療費等の基礎データ」
![[Python]健診データを次元削減してみた：PCAとUMAPによる次元削減｜あおじる](https://cdn-ak-scissors.b.st-hatena.com/image/square/bf7ad816c4591db72b1168ec26ad53076e721a07/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F77721910%2Frectangle_large_type_2_21419d79e0527cc50ae16189fec74232.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
PythonのSymPyで変分ベイズの例題を理解する - StatModeling Memorandum
この記事の続きです。 ここではPRMLの10.1.3項の一変数ガウス分布の例題（WikipediaのVariational_Bayesian_methodsのA basic exampleと同じ）をSymPyで解きます。すなわちデータが に従い*1、とが、 に従うという状況です。ここでデータ（）が得られたとして事後分布を変分ベイズで求めます。 まずはじめに、上記の確率モデルから同時分布を書き下しておきます。 なので、 となります。 この問題は単純なので事後分布は厳密に求まるのですが、ここでは変分ベイズで解きます。すなわち、事後分布をで近似します。さらにと因子分解可能と仮定します。そして、前の記事の最後の2つの式を使って、とが収束するまで繰り返し交互に更新して求めるのでした。以下ではこれをSymPyでやります。 from sympy import * from sympy.stats imp
因果探索ライブラリcausalnex - と。
quantumblackって名前がかっこいい 以前quantumblack社がオープンソースで開発しているkedroを紹介しました。 socinuit.hatenablog.com これ、kedro開発者にも見つかっていろいろと反応をいただいて大変光栄でした。 今回は同社が同様にオープンソースで開発しているcausalnexを使ってみます。 理由は単純。 ロゴが、かっこいい。 まだチュートリアル段階ですが、これだけでも十分に実用に足るんじゃなかろうか、 というくらいには強い。仕事のOSがUbuntuなら完全に優勝していた。 githubはこちら github.com 基本的には公式チュートリアルに沿ってやっていきます。 進捗的には因果グラフをつくるところまで。 チュートリアルではベイジアンネットワークの作成ができていますが、 そこまで追いついていないので一旦保留。 下準備 causalne
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonライブラリ"DoWhy"を用いた因果推論
