『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ
因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し
統計学者や数学が得意な人ほど「円グラフの使用は避ける」その理由とは？ - ナゾロジー
世の中には様々なデータや統計があふれており、それらを視覚的に示す「グラフ」を見かけることも増えました。 仕事や学校でグラフを作成する人も少なくないでしょう。 そして、よく見かけるグラフの1つに「円グラフ」があります。 しかし、円グラフに対して否定的な意見を持っている人は少なくないようです。 オーストラリアのクイーンズランド工科大学（QUT）統計学部に所属するエイドリアン・バーネット氏は、「数学が苦手な人は数字を避けるが、数学が得意な人の多くは円グラフを避ける」と述べています。 世間で円グラフが多用されているにも関わらず、統計学者や専門家、数学が得意な人のほとんどは円グラフを使わないというのです。 それはどうしてなのでしょうか？ バーネット氏の主張から円グラフのメリットとデメリットを考えてみましょう。
統計学の講義資料(2022年度) | Logics of Blue
帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 目次 本資料について 統計学の講義資料 1．本資料について 帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 もとの講義資料とは異なる点もあるのでご注意ください。 万が一何か問題があれば、当ブログにコメントをいただけますと幸いです。 スライドにも記載の通り、以下の利用を想定しています。 想定①：講義の受講者が復習に利用する 想定②：未受講者が統計学入門資料として利用する 基本的には想定①ですが、文系の学生をメインターゲットとした統計学の本格的入門資料は少ない印象です。 未受講者の方にも役に立つかもしれないと思いWeb上で公開することにしました。 本資料は1年間にわたる講義資料となっています。数回
出現確率1％のガチャを100回引いても，4割近くの人は全部はずれる。“本当の確率”を読み解いてみよう
出現確率1％のガチャを100回引いても，4割近くの人は全部はずれる。“本当の確率”を読み解いてみよう ライター：宮里圭介 まったく確率表示をしていなかったり，レア度別の確率のみ表示したりと，タイトルによって対応はさまざまだ スマートフォン向けゲームに欠かせない存在となっている「ガチャ」。お目当てのキャラやアイテムを引き当てたときの嬉しさは格別だし，結構な額のリアルマネーを使ったあげく，ハズレばかりだったときの悔しさもまたかなりのものだ。 すべては運にかかっているので，プレイヤーが頼りにできるデータといえば，公開されている出現確率ぐらいだろう。以前はその確率が公開されていないゲームが多かったが，最近は業界として確率表示を進める動きが強まっており，人気タイトルの「グランブルーファンタジー」でも，本日（2016年3月10日）から装備品個別の出現確率が表記されるようになる。 だが，確率が明らかにな
科学の世界に革命をもたらしえる力──『因果推論の科学 「なぜ?」の問いにどう答えるか』 - 基本読書
因果推論の科学 「なぜ?」の問いにどう答えるか 作者:ジューディア・パール,ダナ・マッケンジー文藝春秋Amazonこの『因果推論の科学』は、その名の通り因果推論について、その先駆者の著者が書いた一般向けのサイエンス本である。とはいえ、大半の人の反応は「因果推論ってなんなんだ」であろう。僕も何もわからぬまま読み始めたが、著者がこれは「科学の世界の革命」であると自賛するだけのことはある概念であることはすぐにわかった。 その一方、相当に難しい、とっつきづらい概念でもあり、いかな一般向けの著作といえども本書を読んで理解するハードルは他のサイエンス本と比べても高いといえるだろう。数式も出てくるし、統計学の用語もぽこぽこ出てくるので、素人がスルスルと読み通せる本ではない。とはいえ根気強く読んでいけば理解できるように書かれているし(数式自体は別に読み飛ばしても問題はない)、理解すれば因果推論の科学がいか
イチローの安打数がポアソン分布にならず正規分布になる理由を考察してみた | ロジギーク
滅多に起こらない現象を表すポアソン分布はイチローの安打数にも当てはまるのか？ １９９４年、プロ３年目のイチローはシーズン２１０安打、打率.３８５を記録して、一気にスーパースターになりました。 この年の打率１０傑は次の通りです。 （年度別成績 1994年パシフィックリーグ｜NPB.JP 日本野球機構 より抜粋） １位と２位以下の差が凄いですね。 いかにイチローが図抜けていたかが分かります。 今年のパ・リーグの規定打席以上の打者２９人の安打数を見ると、試合数より少なくなっていて安打数÷試合数＝０.９３です。 これくらいだと、１試合当たりの安打数は「滅多に起こらない事象の確率分布」であるポアソン分布に従います。 しかし、普通でない打者のイチローは、１試合当たり１.６本以上の安打を打っています。 そのような場合もポアソン分布に従うのでしょうか？ それを調べてみました。 比較対象として１９９４年打率
動く「機械学習帳」、東工大教授が講義資料を無償公開 回帰や分類のグラフをアニメーションに
東京工業大学の岡崎直観教授が、大学の講義で使う資料「機械学習帳」をGitHubのホスティングサービス上で公開している。Webサイト上でPythonを実行できる開発環境「Jupyter Book」で作られており、利用者はPythonのコードとその実行結果を見ながら学べる。 同大学が2021年度4Q（12～2月）に開講する「機械学習」の講義ノート。学習できる内容は、単回帰、重回帰、ロジスティック回帰、ニューラルネットワーク、サポートベクトルマシン、クラスタリング、主成分分析、確率的勾配降下法、正則化といった機械学習の重要項目。初学者向けに原理なども丁寧に説明したとしている。 Pythonによって書かれたグラフは、学習回数や変数などで変動するものや3次元の場合はアニメーションとして視覚化されている。
9割の人が知らない再現性の危機 - 本しゃぶり
本で読んだ知識をドヤ顔で紹介したら、その実験には再現性がありませんでした。 そんな恥ずかしい記事を書いたブロガーは誰でしょう？ そう、私です。 ステレオタイプ脅威はありますん ちょっと前に「ステレオタイプ脅威」の記事が話題になっていた*1。 世の中には「女性は数学に弱い」というような負のステレオタイプがある。自分のアイデンティティがそれに該当していると意識してしまうと、実際にパフォーマンスが落ちるというものだ。これは様々な実験の結果によって示されている。というのが記事で紹介されていた話だった。 ところが現在、その「実験結果」は再現性が無いと言われている。ステレオタイプ脅威の根拠は実験結果にあるというのに、その土台は不確かなものであるのだ。 とくに、最近の研究ではほとんど再現性がないとされている「ステレオタイプ脅威」について、リベラルバイアスにも言及しながら議論しているのが印象的。 日本では
行動経済学の『ずる』は予想以上に不合理 - 本しゃぶり
ダン・アリエリーの論文の一つに再現性が無い。 調査の結果、データが全部捏造されたものだという。 どうしてこうなった。 ダン・アリエリーへの疑い ベストセラーとなった行動経済学の本に『予想どおりに不合理』がある。このブログでも何度かお勧めしている本で、読んだ人も多いだろう。 予想どおりに不合理 行動経済学が明かす「あなたがそれを選ぶわけ」 作者:ダン アリエリー早川書房Amazon 本書の著者、ダン・アリエリーが共著者である論文について、データ捏造の疑いがかけられ話題となっている。 実験の主導者であるアリエリーは、「データが捏造されていること」については同意しているが、問題のデータは研究パートナーの「保険会社からもらったもの」であり、自分および共同執筆者たちはプライバシーの観点からデータ収集・データ入力・データのマージには関与していないと言っている*1。 本件はデータの不正を暴く過程が面白
行動経済学論文のデータ捏造を暴いた記事の大意を和訳してお届けします｜瀬川知己のノート
昨日Twitterを眺めていたら、衝撃的な論文が飛び込んできた。「行動経済学」に関する論文で取り扱われたデータが捏造だったのではないか、と疑義を投げかける論文である。そこで今回は、この論文の論証の大意を日本語でお届けしたい。また、その前後に、行動経済学とは、また、行動経済学の今後は、等についても、簡単に触れてみたい。 そもそも行動経済学とは 行動経済学を一言で表すなら、「経済学と心理学の融合」とでもいえばいいだろうか。そもそも従来の経済学では、人は「合理的に判断する」生き物として描かれていた。ありとあらゆる便益を計算し、比較し、より便益が大きい選択肢をとるその様は、「ホモ・エコノミクス（合理的経済人）」と（しばしば揶揄の意味をこめて）呼ばれてきた。 行動経済学は、それに対して、「人々の心理的な側面」をより重要視したアプローチをとる。仮定する人々を、より現実の人々が下す価値判断に近い行動をと
今起きている革命、「因果革命」とは - Qiita
みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記
TAKENAKA's Web Page: 有意性検定の無意味さ
The Insignificance of Statistical Significance Testing 統計学的な有意性検定の意味のなさ Johnson, Douglas H. 1999. The Insignificance of Statistical Significance Testing. Journal of Wildlife Management 63(3):763-772. 全文 この論文の存在は， 久保拓弥さん（北大）の ページで知りました． The Wildlife Society Award for Outstanding Publication in Wildlife Ecology and Management を受賞したものです． 安易に使われがちな統計学的有意性検定がいかに無意味かを解説しています． なかなか勉強になりました． 自分用に下手な抄録を作って
データが多いときはp値は使えないのか？ - Qiita
はじめに 最近（もう結構前）、p値だけを見てデータを評価するのは止めようという動きがあります。 「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿 仮説検定の判断をp値でする危険性 社内でもp値や統計的有意性について話題に上がりました。データの量が多くなるとp値が小さくなってしまい、どんなデータでも有意になってしまうため、ビッグデータにp値を使うのはやめたほうがいいという話です。これは、確かにそうなのですが、なぜ有意になってしまうのかをちゃんと理解せずに「ビッグデータの時代には古臭い統計学なんて役に立たないのね〜」と勘違いしている人がいそうなので今回はp値について考えてみます。 なぜデータが増えると有意になってしまうのか 議論を簡単にするために、例として母分散が既知の平均値の検定を行うこととします。母集団は無限母集団とし、分散1平均0の標準正規分布に従
統計的有意 p値って何ですか？｜越境するテクノロジー
統計の考え方ってちょっと癖があって、日常の感覚とは違う部分があります。 この独特な考え方を理解し使えばいいのですが、不適切な使い方をしてしまうケースもあります。 その代表が統計で使われるp値という数値の誤用で、2016年にアメリカ統計協会が「正しく理解して使いましょう」という趣旨の声明を出しています。 今日は風邪薬の効果の検証を例に、統計的検定の流れと、その中で使われる統計的有意、p値という言葉の意味について超概要を記してみたいと思います。 風邪薬の効果を検証統計的検定の概要を、新しく開発した風邪薬に「回復を早める効果があるか」を検証する場合を想定して説明します。 まずはデータ収集風邪を引いている100人を選んで薬を飲んでもらい、回復日数を計測します。 データが収集できたら、効果の有無を検証します。 効果を確かめる収集したデータを使った統計的検定により、新しい薬の効果の有無を検証します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【新卒研修資料】基礎統計学 / Basic of statistics
データ分析もChatGPTに“お願い”するだけ!? 探索的データ分析プラグイン「Noteable」を試す【イニシャルB】
データマイニング入門
QDくん⚡️Python x 機械学習 x 金融工学 on Twitter: "確率・統計をわかりやすく解説した、200ページ超えの長編スライド。 図解や具体例をふんだんに盛り込んだ直感的説明が秀逸。 数学カフェ 確率・統計・機械学習回 「速習 確率・統計」 https://t.co/8mGWUd8f4D https://t.co/VkDWjFjfWR"
確率論の歴史【QK×はなでん×ヨビノリ】
コグニカル