はじめに 因果推論100本ノック(自作)1本目~10本目の問題とPythonのサンプルコードです. 問題の不備や内容の誤り等ありましたら,ご指摘いただけますと幸いです. 設定 アナリストの分析レポートが営業の受注件数にどれくらい貢献しているかを分析するケースを考えます. 今回は,下記フォルダの「causal_knock1.csv」ファイルのデータを利用します. データのカラムの概要は下記の通りです. 変数名 データの概要 備考
帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 目次 本資料について 統計学の講義資料 1.本資料について 帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 もとの講義資料とは異なる点もあるのでご注意ください。 万が一何か問題があれば、当ブログにコメントをいただけますと幸いです。 スライドにも記載の通り、以下の利用を想定しています。 想定①:講義の受講者が復習に利用する 想定②:未受講者が統計学入門資料として利用する 基本的には想定①ですが、文系の学生をメインターゲットとした統計学の本格的入門資料は少ない印象です。 未受講者の方にも役に立つかもしれないと思いWeb上で公開することにしました。 本資料は1年間にわたる講義資料となっています。数回
毎月勤労統計調査問題における政府と専門家 - データに基づく批判の不在 田中 重人 <http://tsigeto.info/22y> (東北大学) 第144回社会政策学会大会 (2022-05-14) [Full Paper PDF (886 KB)] [OSF Preprint] [Academia.edu] [Slides PDF (2.6 MB)] [Handout PDF (1 MB)] [著者への問い合わせ] [リンク] URI: http://tsigeto.info/22y Title: 毎月勤労統計調査問題における政府と専門家: データに基づく批判の不在 || The government and experts on the scandal about the Monthly Labour Survey of Japan: Absence of data-based c
こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至った背景 モノタロウ社内では広くデータ活用が進んでおり、GCPのプロジェクトは数百以上運用され、その中の多くのプロジェクトでBigQueryも使われています。社内に広く提供するDWHやセキュリティなど全社的なデータ基盤に関することはデータ基盤グループが運用/管理を行なっていますが、社内のGCPプロジェクト全てのデータ管理にデータ基盤グループが深く関わっていくのは工数的に困難です*1。 INFORMATION_SCHEMAなどデータ管理に役に立つメタデータのノウハ
はじめに 統計のできるまで データの探し方(初級編) グラフの作り方(初級編) 特徴を捉える(初級編) 統計クイズ王!
みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか? 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記
はじめに 千葉大学・株式会社Nospareの川久保です. 今回は,初学者レベルから学部上級レベルの統計学関連の教科書を,順を追って紹介していきます.普段,経済学をはじめとする社会科学(経済学・経営学や政治学など)を学ぶ学生に教えているので,タイトルに「社会科学向き」と入れてみましたが,これから紹介する多くの本は,他の応用でも役に立つものが多いはずです. 入門書 大屋幸輔『コア・テキスト統計学』 厳密さと初学者に対する分かりやすさのバランスのとれた本です.演習問題を集めた副読本もあるので,こちらと併せて学習すると効果的だと思います. 久保川達也・国友直人『統計学』 入門書としては,やや硬派な教科書ですが,しっかり学びたい人にはお勧めの教科書です.「1.記述統計」「2.確率」「3.推測統計」と標準的な構成をしている中,最後の第4部では社会・経済データとして標本調査や時系列分析の話題にも触れてい
画像は『「統計学Ⅲ:多変量データ解析法」講座PV ~ gacco:無料で学べる大学講座』より オンライン講座サイト「gacco(ガッコ)」では2021年1月14日から、日本統計学会と日本行動計量学会の協力のもとに作成した「統計学Ⅲ:多変量データ解析法」が開講される。受講料は無料。 『「統計学Ⅲ:多変量データ解析法」講座PV ~ gacco:無料で学べる大学講座』より 実際のデータは複数個の測定項目からなる多変量データであることが多く、そのようなデータの統計解析手法の学習は、統計手法の現実問題への応用で極めて重要なものと言える。本講座では、多変量解析法を実際のデータに適用する際の注意点や実際の応用例を中心に学習できる。 『「統計学Ⅲ:多変量データ解析法」講座PV ~ gacco:無料で学べる大学講座』より 講師は、横浜市立大学データサイエンス学部教授の岩崎学氏、大阪大学大学院人間科学研究科
闇の魔術に対する防衛術 Advent Calendar 2020の三日目 はじめに データの可視化は非常に難しい。 まずデータの抽出が難しい ・データソースごとの整合性が取れているか ・取得したデータとソースデータに欠損が生じていないか ・SQL文を実行したサマリの結果が部分的に抜け落ちていないか。 その確認は時間的にも精神的にも苦痛。 しかし、苦労して抽出したデータも使い方で全くの無駄になる その例として「可視化や統計」部分に着目してお話をしようと考えた。 データの背景を知らない人には、データ可視化が歩み寄る手段になるし、伝えたい事をインパクトを伴って伝えられるなど非常にメリットである。 ※ただし 「可視化」の使い方によっては誤った理解をさせることも可能。 伝えたい事だけを正しいように見せる方法もあり、 可視化に詳しくない人に誤解を与えて自分の主張を通すこともできるかもしれない。 これは
画像は『京都大学「統計の入門」講座PV』より 株式会社ドコモgaccoは11月26日、オンライン講座「gacco(ガッコ)」において、京都大学 国際高等教育院 附属データ科学イノベーション教育研究センターによる「統計の入門」講座を開講すると発表した。開講は2021年1月26日から。受講者はすでに募集している。 統計に関する知識は、実験や試験、調査などの結果を用いた実証研究をするためだけではなく、近年では、多くの場面で必要とされるようになっている。さまざまなものの効果やリスクがデータとともに語られ、生活者もデータを正しく読み解く力が必要とされるという。また、企業活動では、情報技術の発展によって日々膨大なデータが生成されており、活用が求められているとのこと。 本講座の目的は、研究や生活、社会・経済活動に不可欠な統計を集計・分析し、理解する力を養うこと。主な対象はこれから統計を学ぼうとする人、学
内 容 統計学は実験や臨床試験、社会調査だけでなく、ビッグデータ分析やAI開発でも不可欠である。ではなぜ統計は科学的な根拠になるのか? 帰納推論や因果推論の背後に存在する枠組みを浮き彫りにし、科学的認識論としてデータサイエンスを捉え直す。科学と哲学を架橋する待望の書。 【ALL REVIEWS】序章(抜粋) 目 次 序 章 統計学を哲学する? 1 本書のねらい 2 本書の構成 第1章 現代統計学のパラダイム 1 記述統計 1-1 統計量 1-2 「思考の経済」としての記述統計 1-3 経験主義、実証主義と帰納の問題 2 推測統計 2-1 確率モデル 2-2 確率変数と確率分布 2-3 統計モデル 2-4 推測統計の世界観と「確率種」 第2章 ベイズ統計 1 ベイズ統計の意味論 2 ベイズ推定 2-1 仮説の確証と反証 2-2 パラメータ推定 2-3 予測 3 ベイズ統計の哲学的側面 3-1
これは何かGoogleの Material Design Guideline - Data Visualization がとても良くまとまっていたので、自分なりに和訳・編集してまとめたものです。 ※ 注意事項 こちらはあくまで、もとのドキュメントを参考に筆者が和訳・編集したものになります。原文の完全な和訳ではなく、抜粋の範囲や、英=>和の際の意訳を筆者が恣意的に行っています。 筆者の意訳・編集による曲解や元のドキュメントでのオリジナルの文意が気になる方は原文を読むことを強くおすすめします。 和訳の公開の可否についてはGoogle社に直接問い合わせています。1 / 原理原則(Principles) データの可視化は、複雑で内容の多い情報をグラフィカルな形式で表現するコミュニケーション手段である。 可視化の結果、データを比較しストーリーを伝えることが容易になり、データの利用者の意思決定の助け
The Insignificance of Statistical Significance Testing 統計学的な有意性検定の意味のなさ Johnson, Douglas H. 1999. The Insignificance of Statistical Significance Testing. Journal of Wildlife Management 63(3):763-772. 全文 この論文の存在は, 久保拓弥さん(北大)の ページで知りました. The Wildlife Society Award for Outstanding Publication in Wildlife Ecology and Management を受賞したものです. 安易に使われがちな統計学的有意性検定がいかに無意味かを解説しています. なかなか勉強になりました. 自分用に下手な抄録を作って
2019年1月4日 9:30頃 追記 同ブログ記事に対して黒木さんからTwitterにて以下のようなご指摘をいただきました(ごく一部のツイートだけを抜粋). #統計 もう一度書くと、 * 予測分布の予測性能の比較→AIC, WAIC, LOOCVなど * モデルによるサンプル生成の確率分布がサンプルの真の分布にどれだけ近いかを比較→自由エネルギー, BIC, WBICなど — 黒木玄 Gen Kuroki (@genkuroki) January 3, 2019 ありがとうございます. ご指摘通り,このブログ記事では(最近の統計モデリングにおける特徴のひとつとして)予測性能の評価のほうしか取り上げておらず,特にAICしか触れていません. 特異モデルでも妥当であると言われているWAICへの言及ができなかったのは,私がまったく理解していないだけからです.ニューラルネットワークやベイズモデルなど
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう! ビッグデータ、データサイエンス、人工知能など、統計学を主軸においた分野が隆盛ですが、統計学には高いハードルを感じる方も少なくないでしょう。k平均法を実際に手を動かしながら理解することで、データ分析を身近に感じることができます。 はじめまして、藤井健人(@studies)と申します。イタンジ株式会社でデータ基盤周りの運用を担当しています。 「ビッグデータ」「データサイエンス」「人工知能」といったバズワードに代表されるように、統計学を主軸においた分野の隆盛が日常となって久しいです。 しかし「統計学は学問的な要素があり難しい」という印象を持たれやすく、「実務に活かすのはハードルが高い、怖い」と感じる方も少なくないのではないでしょうか。 そういった方を対象に、今回は統計学の手法の一つであるk平均法を学んでいただ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く