GW、暇なら読んどく？ 企業が無料公開した研修資料まとめ 「AI活用」「グラブル裏側」「うんこのリスク」など
2024年のゴールデンウイークがやってきた。暦の上では、3連休、平日3日、4連休と続いており、最大で10連休を取得し、休みを満喫している人も多いと思う。その中には、外出はせずに自宅でゆっくり過ごすという人もいるかと思うが、そんな人たちにおすすしたい、無料で読める研修資料を紹介したい。 昨今さまざまな企業で、自社の研修で使った資料を社外に公開するケースが相次いでいる。「事業や教育に役立ててほしい」という思いから公開されるそれらの資料たちは、新入社員向けの仕事の心構えを説くものや、各業務の基礎を解説した教材、今話題の生成AIの活用方法など多種多様である。 今回は、過去にITmedia NEWSやITmedia AI＋で取り上げた記事の中から数点を紹介する。ゴールデンウイーク中に読むもよし、連休明けの仕事始めのモチベーションを上げるために読むもよし、“あとで読む”用にブックマークしてもよし。それ
人文系大学生〜学部卒の方々を念頭に置いた講演でのスライドです。Enjoy！ ＊書籍：林岳彦著『はじめての統計的因果推論』（岩波書店）の情報はこちら→ https://www.iwanami.co.jp/book/b639904.html
『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ
因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し
慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
心理学者。キングス・カレッジ・ロンドンの精神医学・心理学・神経科学研究所の講師。2015年に科学的心理学会（アメリカ）の「期待の星（ライジンング・スター）」賞を受賞。『タイムズ』『ワシントン・ポスト』『ワイアード』などに数多く寄稿し、BBCラジオなどの出演もある。 Science Fictions あなたが知らない科学の真実 スタンフォード監獄実験はイカサマだった！ 権威ある心理学研究の100件のうち、再現に成功したのはたったの39％!? 科学の信頼性を根底から揺るがす「再現性の危機」に迫る真実の書、日本上陸！ 科学における不正・怠慢・バイアス・誇張が起きる仕組みを多数の実例とともに解説。既存の本で知ったウンチクを得意げに語る人に読ませたい、真実の書。 バックナンバー一覧 「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ――。 科学の「再現性の危機」をご存じだろうか。心理学、
ABテストにおける分散削減手法①〜少ないサンプルから小さな改善効果を検出する〜｜あならいずパンダ
マネーフォワード 分析推進部の石田と申します。 社内では、データサイエンティストとして施策効果検証系の案件を中心に担当しています。 本稿から2回に渡って、「ABテストにおける分散削減手法」というテーマで記事を執筆したいと思います。 馴染みのない方もいらっしゃるかもしれませんが、ABテストへ分散削減手法を適用することで、例えば以下に挙げたメリットを享受することができます。 必要サンプルサイズを低減できるため、意思決定サイクルを高速化できる より小さな改善効果を検出できる 魅力的だと感じていただけた方は、ぜひ最後まで本稿をお読みください！ 目次 想定する読者層と書いてある内容本稿のメインターゲットは、以下のような方です。 統計的仮説検定の理論を少し勉強したことがあるけど、分散削減と言われてもあまりピンと来ていない 確率変数、標本平均、分散、正規分布の意味は分かるけど、t検定の検定統計量がパッと
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 ペンシルベニア大学などに所属する研究者らが発表した論文「Information content of note transitions in the music of J. S. Bach」は、音楽作品を情報ネットワークへと変換し、作品が内包する情報量と伝達効率を調査した研究報告である。この研究では、バッハの楽曲を情報ネットワークとしてモデル化し、楽曲が持つ情報量とその情報をいかに効率よく伝達するかを定量的に評価する。 手法の第一歩として、楽曲の各音符をネットワーク上のノードとして捉え、音符間の遷移をエッジで結び付けている。このエッジは指向
統計学とは何か、そしてベイズ統計学の話 - hidekatsu-izuno 日々の記録
細々と統計学を調べ続けているが、最近ようやく統計学というものが何なのか、おぼろげながらわかるようになってきた（なお、統計学ができるようになってきたわけではない） 統計学を知る前の自分と今の自分をくらべたとき、間違いなく違うのは統計学に対する信頼だろう。以前は、統計学は数学の一分野であり、正しい分析手法を使えば真の答えが得られるものだと思っていた。しかし、実際には統計学者ジョージ・ボックスが言ったとされる「すべての（統計）モデルは間違っている、だが中には役立つものもある）」という言葉の方が実態に近い。 統計学は基本的に「不可能なことを可能にする（不良設定問題を扱う）」学問だ。例えば、1、3、5 という数字の列から何が言えるだろうか。確実なことは3つの実数値が観測された、ということだけで、それ以上のことは想像するしかない。奇数列かもしれないし、乱数から３つの値を取得した際に偶然それっぽい数字が
ベイズ統計学と再現性の危機（テンプル大学統計科学部助教授：マクリン謙一郎） #心理統計を探検する｜「こころ」のための専門メディア 金子書房
心理学において、これまでに得られた著名な研究結果が再現されないという再現性の危機が話題となっています。その原因の一端は、統計的仮説検定の使用にあると考えられています。そして、仮説検定のオルタナティブとして、ベイズ統計学に対する注目も高まっています。しかし、仮説検定がもつ問題の一部がどのようにしてベイズ統計学によって解決されうるのか、両者の立場の相違、ベイズ統計学の限界などについて、心理学においてまだ十分な議論がなされていないように見受けられます。そこで今回は、こうした再現性の危機と仮説検定の関係、ベイズ統計学の可能性と限界について、テンプル大学統計科学部助教授のマクリン謙一郎先生にご解説いただきました。 ※今回の記事は、統計的意思決定、仮説検定、ベイズ統計学について基礎的な知識があることを前提としています。あらかじめご承知おきのうえお読みください。 はじめに 再現性の危機が心理学を含む諸分
これをもとに再度計算し直すと、(\hat{\beta}_0, \hat{\beta}_1, \hat{\beta}_2) = (2.07, 0.576, -3.91\times 10^{-3})、今度は \hat{\beta}_1=0.567 であり家賃が月収増加額に対して57.6%上昇するという随分大きな値が出てしまった。 このように、入力データが少し変わっただけで、線形回帰係数の推定値が大きく変化してしまう。 この原因は、説明変数として円単位の月収 X_1 とほぼ同じ意味を持ち相関も強い X_2、つまりドル単位の月収も含まれていることにある。 なお、もし X_1 だけ用いて予測を行っていれば、いずれの家賃データを入力として用いても回帰係数 \hat{\beta}_1 の推定値はおおよそ 0.30、つまり「月収が10,000円高ければ家賃がその約30%の3,000円程度高いところに住む傾
今年もアドベントの季節が来ました。この記事は、まつーらとしお氏の主催する、アドベントカレンダー「言語学な人々」2023の12月16日のエントリーとして書かれました。今年は、カレンダー増刷で、黒木邦彦氏主催の、別館（言語学なるひとびと）もあります。どちらもご覧下さい。 和歌集の歌風の分析日本の古典和歌集には、それぞれの性格があります。『万葉集』は自然を歌っていて、「素朴」な歌もあるが、『古今集』は、宮中の「優雅」な伝統を反映している、など、言い方はいろいろあり得ますが、それぞれ異なった歌風を持っていることは間違いありません。それを、コンピュータ、特にAIで分析してみるというのがこのエントリーの内容です。日本語学会の機関誌『日本語の研究』19巻3号（2023年12月）に掲載した拙論（「和歌集の歌風の言語的差異の記述ー大規模言語モデルによる分析−」）の解説記事となります（来年6月にはJSTAGE
まえがき データ分析はなんて広いんだろう。影響力の強まりに応じ、自然・社会・人間ほぼすべてが対象となりどんどん拡大していく。対象に応じ手法も広がり複雑化し、学ぶべきことが多すぎる。データサイエンティスト協会のスキルチェックリストVer.3.001（ごめんもう4.00が出てるね）も500超の項目があります。読むべき図書も良書と思われるものだけでも増え続けており、もう手に負えない状況です。 ただ、これはやってはだめだ、ここを知らないと道に迷う、という絶対に知っておくべき点は学べる範囲だと思います。本書では、データ分析において間違えやすい、誤解しやすい点を共有し、データ分析全体をよくする目的で、かつ データ分析の入門書・専門書に分野ごとには書かれてはいますが1つにまとまっておらず目に触れにくいもの データ分析の入門書・専門書でもスルーされていたり場合によっては誤っていると思われるもの で自分なり
以下，記憶だけで書いたいい加減な話． 5%閾値を広めた責任者は，K.Pearson, Fisher, Neyman, Snedecor，そして，統計分析のハウツー本の著者ら，さらに，私自身も含めた統計関連従事者（←統計家や統計学者ではない）ではないだろうか．Fisherだけに責任を負わせるのは酷な話だと思う． まず，1900年初頭には，K. Pearsonの提案をもとに，probable errorの3倍以上のものを”almost certain significance”とする分類がBiometrikaを中心に利用されていた．このprobable error (PE)は，Xが正規分布に従っている時に，μ± PEにXが属する50%となるもの．このPEは，元々は，Galtonが多用していた．（Galtonは，いまでいう四分位点から，PEを求めていた．Galtonの文献では，標本と母集団の違い
みなさんこんにちは。今日もChatGPTさんを講師にお迎えして、「ChatGPTとPythonで学ぶ k近傍法」というテーマで雑談したいと思います。それではChatGPTさん、よろしくお願いします。 assistant: こんにちは、みなさん。今日はk近傍法について学びましょう。 k近傍法（k-Nearest Neighbors、k-NN）は、分類や回帰の問題を解くためのシンプルな機械学習アルゴリズムの一つです。このアルゴリズムは、新しいデータポイントを分類するために、そのデータポイントの近くにある他のデータポイントを見て、それらの最も一般的なクラスを新しいデータポイントのクラスとして選択します。 Pythonの機械学習ライブラリであるscikit-learnを使ってk近傍法を実装することができます。以下に、基本的なコードを示します。 from sklearn.neighbors impo
資料では、統計学がどんな学問なのか、統計学を学ぶことにどんな意義があるのかという初歩から解説。その上で統計学を「記述統計学」と「推計統計学」に大別し、それぞれの特徴や手法、注意点を説明している。 今回の無料公開は、ブレインパッドで働く有志のデータサイエンティストが技術資料などを外部に発信するプロジェクト「OpenBrainPad」の一環。「統計学をこれから学ぶ人も復習する人もぜひ利用してほしい」（ブレインパッド）という。同プロジェクトでは、過去にはプログラムのバージョンを管理するシステム「Git」のハンズオン（実際に手を動かして学ぶ）資料なども公開している。 関連記事 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート 総務省が「誰でも使える統計オープンデータ」を開講。統計オープンデータを活用したデータ分析の手法を解説する無料講座だ。 AIの基礎をZoomで講義 新人研修用
株式会社ブレインパッドの2023年新卒研修資料です。基礎統計学について扱っています。
Open Interpreterの使い方や料金を徹底解説！実際にアンケート結果のデータ分析をした活用事例を紹介！｜Ainova
1. インストール 1pip install open-interpreter ターミナルで次のコマンドを実行して、Open Interpreter をインストールします。 2. 対話型チャットの開始 インストール後、次のコマンドを実行して、ターミナルで対話型チャットを開始できます。 1interpreter Python で対話型チャットを開始するには、次のコマンドを実行します。 1import interpreter 2interpreter.chat() 2. OpenAI APIキーの設定 OpenAIのAPIキーを利用する場合は設定が必要ですが、OpenAIのキーを使用しない場合は、Code-Llamaを利用することができます。 これで、Open Interpreterを利用する準備が整いました。 Open Interpreterの使い方 タスクの依頼・実行 Open Inter
この教材は、九州大学大学院統合新領域学府ライブラリーサイエンス専攻の2020年度PTL1で既存教材に改変を加えて作成した成果物について、同一の既存教材を再度参照し、研究データ管理支援部門にて、大幅に加筆・修正したものである。
0.はじめに 『現代数理統計学の基礎』(久保川達也 著)の章末問題の答案を作成する．略解は久保川先生がこちらのサイトに掲載して下さっているが，「略解」なだけあって途中式がかなり端折られていたり，エレガントすぎて凡人では思いつきようのない解答だったりするので，多少計算がゴツくなったとしても庶民的な答案を心がける．また必要に応じて答案とは別に必要な知識の確認を行う． 各リンクから問題の方針と答案に飛べる． 1.確率 (易) ベン図書く (易) 和事象，積事象の性質 (易) 条件付き確率と同時確率 (易) 部分集合についての確率 (易) 条件付き確率の典型問題 (易) 条件付き確率の典型問題2 (易) 因果関係と相関関係，独立性 (易) 和事象と確率の和 2.確率分布と期待値 (標準) 分布関数，密度関数の定義 (標準) 分布関数，密度関数の定義2 (標準) 分布関数，密度関数の定義3 (標準)
過去の出来事を科学的に分析することで、未来を予想できるとする「歴史動態学」が登場した。既存の歴史学者は懐疑的だが、このアプローチは興味深い。 SOURCE：REF．1 「歴史は繰り返す」という格言は、時に真実であるように思われる。例えば米国では、1861～65年の南北戦争後に民族間・階級間の反目による暴力事件が都市部で急増し、それが全米に広がって、1870年頃にピークに達した。国内騒乱が次に増加したのは1920年頃で、人種的反感による暴動、労働者のストライキ、反共感情の高まりなどにより、多くの人が近いうちに革命が起こるかもしれないと思った。米国社会は1970年頃にも不穏な状態に陥り、激しい学生デモ、政治的暗殺、暴動、テロが頻発した（『暴力の周期』参照）。 コネチカット大学（米国ストーズ）で個体群動態学の研究をしているPeter Turchinは、米国の政情の不安定さがピークに達した3つの時
2023年下半期しいたけ占い
2023年下半期のあなたの運勢は？ しいたけ.からの熱いメッセージと一緒に、 新しい季節を楽しんでいこう。
※: 両側 p<0.10 （本A/Bテストにおける有意水準） この場合まず疑うべきはA/Bテストシステムのどこかにバグがあることです。なんらかの理由で購入頻度の高いユーザがZ群にばかり割り当てられたり、統計処理にミスがありp値が実際よりも低く出てしまったりということがあれば、まったく差がない群の間で見かけ上CVRに有意差が出てもおかしくありません。 しかしながらいくら調査してもシステム上の問題は見当たりませんでした。 『多重性の問題』の可能性があるも、それだけとも言い切れない 本A/Bテストにシステム的問題が見当たらない一方、統計手法的には1点問題がありました。それは検定多重性の問題です。検定多重性とは、3群以上の比較を行う際、本当は有意差が無いはずなのに有意差ありとなってしまう確率が2群の時よりも上がってしまう現象です。 このA/Bテストシステムは2群間での比較を前提にt検定で実装されて
鴨葱鍋出汁 @tamakinsniper 三枚目、訴求力とかインパクトとか分かりやすさとか、そんなもののために正確さを犠牲にするのが推奨される現状を考えると焼酎呑まざるを得ない（→ただの言い訳） twitter.com/Count_Down_000… 2023-06-23 17:38:08
読んだ本 1. 序論：統計モデルと因果モデル 因果グラフのノードは変数である 因果グラフが成立している場合の条件付き確率を比較 モンティホール問題を因果モデルで解釈する 2. グラフィカルモデルとその応用 因果グラフ上で従属関係を可視化する 因果グラフを構築する際の恣意性 3. 介入効果 4. 反事実とその応用 全体の感想 構造方程式と回帰式の違いをもっと早く書け まあ良著でした ちょうど一ヶ月前くらいに，昨年から延期に延期を重ねていたデータサイエンスエキスパート試験が遂に配信開始となった． www.toukei-kentei.jp とりあえず受けるのは確定として，いい機会なので今までなあなあに誤魔化してきた因果推論と時系列解析をちゃんとやることにした．まず因果推論の方から本を読むことにして，誰かに解説する体でやるのが一番理解が深まるので読みながら取ったメモを軽く清書して投稿している． 内
統計検定準1級 合格体験記 - Qiita
はじめに 統計検定準1級は(一財)統計質保証推進協会が実施、(一社)日本統計学会が公式認定する「2級までの基礎知識をもとに、実社会の様々な問題に対して適切な統計学の諸手法を応用できる能力を問う」試験です。現在はCBTでの実施となっています。 主観を込めて言いますと、2級と準1級では難易度に雲泥の差があります。 強調して言っておきます。まったく違います！ 準1級では統計的推定や検定に加えて、多変量解析(重回帰、PCA、主成分分析、数量化)、時系列解析、マルコフ連鎖、確率過程、分散分析、ベイズ統計、MCMC...と範囲が広いのが特徴です。 以下、かなりの長文になりましたが、受験して得た知見をかなり具体的に記述しました。読者の皆様の合格への一助となれば幸いです。 目的 私はとある私立中高で物理と情報を教えています。統計の勉強を始めたのは、教科「情報」を教えるにあたってのスキルアップが目的です。も
野村総合研究所の塩崎氏と広瀬氏の記事*1がまた*2データ分析者に困惑を引き起こしている。「データが欠損している場合は、平均値や中央値で埋め合わせる作業を行います。」とあるのだが、欠損データ処理としてはよくない手法として知られている。 平均代入法は、欠損が完全にランダムに生じている（MCAR）とき以外は推定量にバイアスが入ると説明されることが多いが、MCARでも回帰分析などの推定に用いる場合はバイアスが入る。また、単一代入法になるので、標準誤差が過小推定される*3。名前がついているぐらい一般的なのだが、使ってはいけない過去の遺物だ。 推定前の処理としては、欠損データ列がある行を分析から除くリストワイズ法や、分析に用いる欠損データ列がある行を分析から除くペアワイズ法の方がまだよい*4。サンプルサイズの減少を避けたい場合は、単一代入法でも回帰代入などを使う方が望ましい。最近は、機械学習の前処理と
「書籍が買われる構造」を約10000文字かけて定量／定性で分析したので出版社・書店関係者に届いて欲しい｜松本健太郎
出版社にとっても本屋大賞は、芥川賞や直木賞よりも欲しい賞だといわれる。「店頭で開くお祭りにみんなで参加してもらう感覚。書店がフェアを大きく展開するので、ノミネートだけで本の売り上げが大きく伸びる」。本屋大賞実行委員会理事長で「本の雑誌」編集発行人の浜本茂氏はそう話す。 なぜこの賞がこれほどの存在感を持つようになったのか。スタートは2004年。選考委員が協議して決める従来の文学賞と異なり、書店員による投票方式を取り入れた。書店員が「いちばん売りたい本」を選ぶという同賞のコンセプトは、偉い選考委員のお墨付きより、等身大のお薦めを求める今の読者のニーズにぴたりとはまったのだ。 「本の賞」なぜ活況 「お墨付き」より「お薦め」の時代 筆者はこれまでビジネス書16冊を執筆する機会に恵まれ、フアンからの応援もあって、紙・電子合わせて約10万部の実績を残すことが出来ました。厚く御礼申し上げます。 ただ、お
統計解析とグラフィックスのための言語・環境である「R言語」の概要、インストール方法、初歩的な使い方を広く・浅く解説した資料です。 2023年4月時点でのRの~~最新バージョン~~R-4.2.3を対象としています。 スライド中で実行するRスクリプトを置いているGitHubリポジトリ: https://github.com/uribo/cue2022aw_r104 ウェブブラウザ上でRを動かす環境: https://mybinder.org/v2/gh/uribo/cue2022aw_r104/main?urlpath=rstudio
オンライン版の R によるメタ分析：ハンズオンへようこそ。 本書は、 R でメタ分析を行う方法について、わかりやすく紹介するガイドラインである。メタ分析の基本的な手順として、アウトカム指標のプール、フォレストプロット、異質性診断、サブグループ解析、メタ回帰、出版バイアスの制御方法、バイアスリスク評価、プロットツールなどを網羅している。 また、ネットワークメタ分析、マルチレベル（３レベル）メタ分析、ベイズメタ分析アプローチ、SEM メタ分析といった高度でありながら関連性の高いトピックも取り上げる。 本書で扱うプログラミングや統計的背景は、専門家でなくても理解できるレベルにとどめている。原著の印刷版は、Chapman & Hall/CRC Press (Taylor & Francis) から出版されている。 ソースレポジトリ 本書は、{rmarkdown} および {bookdown} を使
因果推論100本ノック(2)回帰分析
はじめに 因果推論100本ノック（自作）11本目~20本目の問題とPythonのサンプルコードです． 問題の不備や内容の誤り等ありましたら，ご指摘いただけますと幸いです． 設定 メールマーケティングの効果を推定するケースについて考えます． 化粧品のEC販売にて，メディアの会員の中で購買傾向の弱いユーザーにキャンペーンメールを配信します．手元には「過去に小規模なデータで実験を行ったデータ」と「今回購買傾向の弱いユーザーにメールを配信したデータ」が存在するとします． データは，下記フォルダの2つのファイルを利用します． 利用するファイルの概要は下記の通りです． causal_knock2_rct.csv: 実験データ（以下,rctデータ） causal_knock2_reg.csv: 購買傾向の弱いユーザーにメールを送ったデータ（以下，regデータ） データのカラムの概要は下記の通りです． 変
統計検定$2$級のPBT(Paper Based Testing)に実際に出題された問題の解答や解説を出題年や出題トピックごとに取りまとめました。解答例は「統計の森」オリジナルのコンテンツであり、統計検定の公式とは一切関係ないことにご注意ください。 ・統計検定$2$級対応 「統計学入門」 https://www.hello-statisticians.com/stat_basic 出題年度別目次 $2021$年$6$月 問1～問12 問13～問22 $2019$年$11$月 問1～問10 問11～問18 $2019$年$6$月 問1～問9 問10～問18 $2018$年$11$月 問1～問10 問11～問18 $2018$年$6$月 問1～問8 問9～問16 $2017$年$11$月 問1～問8 問9～問16 $2017$年$6$月 問1～問8 問9～問15 $2016$年$11$月
はじめに データ分析の書籍を読んでいるとRで書かれていて解読に困ったことはありませんか。 本コンテンツでは、多くの書籍で使われているtidyverseやggplot2を主に取り扱っています。 このtidyverseやggplot2は、データを加工・可視化する際に処理を順番に記載する直感的な記述法であり、データ分析の非常に強力な手助けになることでしょう。 なお、このコンテンツはPython初学者のためのPandas100本ノックの作成者であるクニえもんさんの承諾の元、似た形式で作成しております。pythonでのデータ分析に興味のある方はこちらも是非ご覧になってください。 tidyverse100本ノックの概要 ・Rファイルに記載された、tidyverseやggplot2に関する設問100問を解いていきます ・「問題のみ版」「問題+解答・解説版」の2種類を用意しています。 問題内容 No. 分
実務に必要な統計学はすべてゲームのガチャが教えてくれる 第一回 - Sansan Tech Blog
こんにちは、研究開発部のDataAnalysisグループの糟谷勇児です。 今回は、統計学について書いていこうと思います。ただし今回の対象は研究員の方ではなく、統計学初心者の方を想定しています。 皆さんはスマホのゲームはやりますか？ 最近はガチャでアイテムやキャラをゲットするゲームが多いですよね。 私もガチャが大好きです。 ガチャはいいですね。モンスターハンターなどのゲームも好きですが、最強の武器を手に入れるのはいつも一番強い敵を周回して素材を集めた後で、それ以上倒しに行きたい敵がいなかったりします。 しかしガチャは運次第では最初から最強のぶっ壊れキャラを引くことができるのです。 ところで、私の趣味はガチャの期待値計算をして某巨大掲示板に投稿することです。 そんな生活をしていて思いついてしまいました！ 「ガチャだけで大体の統計学を学べるんじゃね？」 統計学はギャンブルから生まれたともいわれて
ベン図を4つの円で描く？
ベン図は集合の範囲の見える化に必須のツールです．その際，円３つまではスイスイと描けるのですが，4つ以上となると… ■ 「何とか」としたワケは，円3つで8部分(領域)に分かれていたところに 8つの各領域ごと，集合Dのメンバーで｛ある，ない｝の判断をする つまり 4つ目の集合Dでもって，すべての領域を2分割しながら描く 必要があったからです．平面を２⁴=16分割することになり，実際，やってみるとケッコウ手間のかかる作業です． ■ この集合Dのベン図をシンプルにしたいものです． 集合Dを円で描けないか？ ■ 試行錯誤的にやってみると，円で描くのは困難であり，不可能だろうと予想できます．さて，どう説明しますか？ ■ 図は，青円によって平面が①②の2つに分かれているところに，緑円を付け加えた様子です． 2つの円により，2交点P, Q ができる． ⇒ 円弧C1(短), C2(長) ができる ⇒ C1に
帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 目次 本資料について 統計学の講義資料 1．本資料について 帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 もとの講義資料とは異なる点もあるのでご注意ください。 万が一何か問題があれば、当ブログにコメントをいただけますと幸いです。 スライドにも記載の通り、以下の利用を想定しています。 想定①：講義の受講者が復習に利用する 想定②：未受講者が統計学入門資料として利用する 基本的には想定①ですが、文系の学生をメインターゲットとした統計学の本格的入門資料は少ない印象です。 未受講者の方にも役に立つかもしれないと思いWeb上で公開することにしました。 本資料は1年間にわたる講義資料となっています。数回
東京大学・株式会社Nospareの菅澤です． 今回は状態空間モデルによる時系列予測手法を用いた因果効果の推定手法であるCausalImpactについて紹介します． CausalImpactとは CausalImpactはGoogleによって開発された因果効果推定の方法です．手法の詳細はBrodersen et al. (2015, AoAS)に記載されており，手法を実装したRパッケージも公開されています． CausalImpactは，ある介入が時間変化するアウトカムにどのような影響を与えるかを推定（推測）するための手法です．時間変化するアウトカム（時系列データ）に対して因果効果を推定する有名な方法としてDifference-in-Difference (DID)がありますが，DIDよりも緩い仮定のもとで時間変化する因果効果を推定できる方法として知られています． CausalImpactのコ
はじめに マーケティング施策が実際に効果があったか因果関係を推論したい場合は、介入を行うのが好ましいです。例えば、プッシュ通知を送るなど施策を実施する人達と実施しない人達に分けて、それぞれのグループの売り上げを比較することで、プッシュ通知というマーケティング施策に効果があるかを検証します。 しかし、プッシュ通知を送っても、スマホのバージョンが古いなどによって、プッシュ通知が届かない可能性があります。このようにマーケティング実施者の割り当てと、顧客に起こる事象が異なる場合があります。これを「不服従（ノンコンプライアンス）」と言います。 この不服従があると、プッシュ通知を送ったグループと送らなかったグループの売り上げを比較しても、施策の効果を検証できない可能性があります。スマホのバージョンが古くてプッシュ通知が届かない例の場合、スマホのバージョンが古い人は年収が低い可能性があります。 不服従が
TimescaleDB 雑感
TimescaleDB を自社サービスに採用して 1 年以上過ぎたので振り返ってみます。 前提 著者は SQL に関して TimescaleDB を採用を決めたタイミングから勉強した初心者です Managed Service for TimescaleDB を採用しています まとめ TimescaleDB の利用で不満は今のところない sqlc との組み合わせは最高 開発会社が提供するマネージドサービスは最高 なぜ TimescaleDB を採用したのか 統計情報のため込みと集計 自社製品であるミドルウェアパッケージソフトウェアのクラウド版を提供するにあたり、何よりも重視したのは統計情報の提供です。それもサーバーの統計情報ではなく接続単位での接続情報を顧客に提供することです。 自社製品はリアルタイムに音声や映像を配信する製品ということもあり、一定間隔での統計情報の収集が重要になります。ネッ
基礎から学ぶ統計学
本章では、二項検定を学びます。二項検定は、本書で学ぶ統計手法の中では、最も使用頻度が低い手法です。しかし、統計学の入門に最適な学習項目です。理由が3つあります。第一に、高校1～2年で学んだ数学だけで、この手法の原理を完全に理解できます。統計手法はたくさんありますが、唯一この手法だけは、全て手作りの計算で実行できます。第二に、面倒な検定統計量の計算を必要としません。第三に、二項検定には、検定の論理の全てが詰まっています。こうした理由から、読者のお父さんやお母さん、もしくは、お爺ちゃんやお婆ちゃんの世代では、二項検定は、高校の数学の教科書で解説されていました。この「とても分かりやすい」という長所を、活用しない手はありません。本書では、統計学の学習を、二項検定から始めます。本章では、当時の大学入試の頻出問題をさらに簡単にした例題を使って、学びます。… 本書の使い方 統計学を学ぶ心がけ／予備知識／
調査の「聞き方」「答え方」がデータに与える影響（大阪大学大学院人間科学研究科教授：三浦麻子） #その心理学ホント？｜「こころ」のための専門メディア 金子書房
調査の「聞き方」「答え方」がデータに与える影響（大阪大学大学院人間科学研究科教授：三浦麻子） #その心理学ホント？ 心理学が使用する代表的な方法の一つが調査法です。多くのデータが得られやすい，実施や集計が容易といった強みを持つ一方，弱みもあります。今回は，調査の「聞き方」，「答え方」によって得られるデータがどのような影響を受けるのかについて，三浦麻子先生にご解説いただきました。 心理学では「心」にまつわる構成概念を測定するために様々な手法を用いますが，そのうち，調査者の問いかけに対象者が主観（自らの気持ちや考え，経験など）を答えるのが調査です．調査では，呈示した質問に対して，あらかじめ用意した数値や選択肢から当てはまるものを選ばせる形で回答を求めることがよくあり，同じ形式で得られたデータですから，たくさんあっても集計・分析するのが容易です．心理学以外の領域でもよく用いられていて，学生の卒論
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめての「相関と因果とエビデンス」入門：“動機づけられた推論” に抗うために
ベイズ統計学を勉強する参考書のフロー - Qiita
【統計学「p＜0.05」に下げる方法】統計好きでも意外と知らない「p値ハッキング」の中身
バッハの曲を数学的に分析 “情報量が多く効果的に伝達している”と判明 米研究者らが検証
線形回帰において「多重共線性があると推定が不安定になる」とは？〜図と理論で理解する〜
日本の古典和歌を埋め込みベクトルで分析する｜yhkondo
ヤバいデータ分析（書籍・記事であまり扱われてないが重要なこと） - Qiita
Fisherだけに5%閾値の責任を負わせるのは少し酷な気がする - Tarotanのブログ
ChatGPTとPythonで学ぶ k近傍法 - Qiita
新卒向け「統計学の基礎」100ページ超 SaaS企業が無料で資料公開
【新卒研修資料】基礎統計学 / Basic of statistics
はじめよう、研究データ管理 | 九大コレクション | 九州大学附属図書館
『現代数理統計学の基礎』章末演習問題解答 (答案) - Qiita
科学としての歴史 | Nature ダイジェスト | Nature Portfolio
A/Bテストで想定外の結果が出たら？検定多重性の影響を定量的に分析する
俺、バカだからよくわかんねぇけどよ…… #統計学 の勉強を薦められたから、子供向けの本を買ってきたったわ
23/6/10 『入門 統計的因果推論（Judea Pearl）』メモ - LWのサイゼリヤ
平均代入法による欠損データ処理はオワコンどころか黒歴史なので
R言語入門 (R-4.2.3 2023年4月版) / introduction to r
ようこそ！ | Doing Meta-Analysis in R
統計検定2級 PBT(Paper Based Testing) 解説 - あつまれ統計の森
R初学者のためのtidyverse100本ノック - Qiita
統計学の講義資料(2022年度) | Logics of Blue
状態空間モデルを用いた因果効果の推定: CausalImpact - Qiita
Pythonのlinearmodelsで操作変数法による因果推論を実施する - Qiita