統計学の時間 | 統計WEB
統計学の時間 統計学の基礎から応用までを丁寧に解説しています。「Step1. 基礎編」は、大学で学ぶ統計学の基礎レベルである統計検定®2級の範囲をほぼ全てカバーする内容となっています。最後まで読み進めることで、統計検定®2級に合格できる力がつくことを目標にしています。 学習ページは、数式ばかりではなく具体例を多数掲載し、はじめて統計学を学ぶ方にもイメージしやすい内容になっています。学習ページで勉強した後は、練習問題で腕試しができます。練習問題のすぐ下に解説を掲載していますので、理解度をすぐに確認することができます。 一通り勉強して知識が身に着いたら、実際に統計検定®を受験するのがオススメです。 統計WEBでは、統計検定®の受験者を応援しています！ ※統計WEBを使って統計検定®に合格された方の『合格者の声』をブログに掲載しています。こちらからご覧ください。 Step0. 初級編 1. デー
【統計検定2級対策】難易度や出題範囲を解説
統計検定2級は、大学基礎科目レベルの統計学の知識の習得とその活用について理解しているか問われる検定です。統計検定2級を取得することで機械学習やデータ分析を行う際に必要な基礎知識が身につきます。 このような方にオススメの試験です。 統計学の知識を身につけて上司にアピールしたい将来的にデータサイエンティストとして働きたい大学で学んだ統計学の知識を資格にしたい本記事では、「統計検定2級」の概要および出題範囲や、必要となる勉強時間、統計検定3級との比較など、最短で合格するためにオススメな勉強方法・参考書をご紹介していきます。 ※データビズラボでは、採用に力を入れています。現在、多数の応募をいただいておりますので、もし気になる方はお早めに！ 1.統計検定2級の概要数多くある資格や検定の中で、統計検定2級は「普通～やや難しい」部類に入るでしょう。 合格基準は紙媒体で100点中70点以上、オンラインで1
統計検定２級に楽に合格する方法 - Qiita
この記事について 先日統計検定２級を受けました。自己採点で合格点を採れていた（７割強）ので、勉強前の自分に伝えるつもりで勉強方法についてメモを残します。 勉強のコツは「深く考えないこと」 基礎統計学で使う公式にはオーバーテクノロジーが使われています。 たとえば以下は標準正規分布の確率密度関数の式です。あきらかに初学者の理解を拒んでいます。 f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp \left(-\frac{(x - \mu)^2} {2\sigma^2} \right) \hspace{20px} (-\infty < x < \infty) 初めて教科書を見たときは面食らいましたが、別に今この式自体を理解する必要はありません。統計学の公式には少なくとも普通の大学の１・２年次では理解できない数学が使われているので、今頑張って考えても徒労におわるだ
【記事更新】私のブックマーク「反実仮想機械学習」（Counterfactual Machine Learning, CFML） – 人工知能学会 (The Japanese Society for Artificial Intelligence)
Home » リソース » 私のブックマーク » 【記事更新】私のブックマーク「反実仮想機械学習」（Counterfactual Machine Learning, CFML） 反実仮想機械学習（Counterfactual Machine Learning, CFML）齋藤 優太（東京工業大学） はじめに機械学習の応用において，反実仮想（Counterfactual）─起こり得たけれども実際には起こらなかった状況─についての情報が得られるとうれしい場面が多くある．例えば，「今動いている推薦アルゴリズムを仮に別のアルゴリズムに変えたときにコンバージョン率はどれくらいになるだろうか？」や「あるユーザに仮にクーポンを与えた場合に離反率はどれくらい減少するだろうか？」などの実務現場でよくある問いに答えるためには，反実仮想についての情報を知る必要がある． 反実仮想機械学習（CFML）とは，因果効果
STAT 286/GOV 2003: Causal Inference
Substantive questions in empirical scientific and policy research are often causal. Does voter outreach increase turnout? Are job training programs effective? Can a universal health insurance program improve people's health? This class will introduce students to both statistical theory and applications of causal inference. As theoretical frameworks, we will discuss potential outcomes, causal graph
書評『統計のための行列代数』 | Hippocampus's Garden
書評『統計のための行列代数』July 19, 2020 | 21 min read | 3,454 views jabookmathはじめに 『統計のための行列代数』（D. A. Harville 著，伊理正夫 監訳，丸善出版，2012年）を読んだので，まとめと感想を書きます． （そこまでの精読はできていませんが，それでも誤植と思われる箇所が散見されたので，気づいた範囲ですが末尾にまとめておきました．） まとめ+α 原題は『Matrix Algebra from a Statistician’s Perspective』で，統計学者が身につけるべき線形代数の知識や考え方を全2巻でまとめた著名な教科書です．線形代数は重要かつ範囲がとても広く，抑えるべきポイントがわかりづらいと大学時代から感じていたので，こういう応用を見据えた教科書はありがたいです． 一般的な線形代数の教科書ではあまり
識別/生成モデルの観点から見たRubin/Pearlの統計的因果推論（＊既に一定の予備知識のある方向け） - Take a Risk：林岳彦の研究メモ
こんにちは。林岳彦です。ついに夏の統計的因果推論祭りが今週の木曜（7/10）に迫ってきました！ ちゃんと予定どおり開催されますので、参加申し込みをされたみなさま、台風に負けずにご来場いただければ幸いでございます。 さてさて。 この祭りに備えてさいきん改めて統計的因果推論の辺りを復習しているのですが、今回は自分のためのメモとして「識別/生成モデルの観点から見たRubin/Pearlの統計的因果推論」について書いてみたいと思います。（ひじょうにマニアックな内容になります） （今回の記事は「統計的因果推論」に対して既に一定の予備知識がある読者を想定して書いていきますので、多くの方々には意味不明なものになるかもしれませんが大変申し訳ありません） 前置き：今回の元ネタとなる2つの記事の紹介 そもそものことを言いますと、今回の記事は以下の2つの記事にかなり直接的にインスパイアされて書かれたものです。な
WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza times
主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
Reimagining Experimentation Analysis at Netflix
Toby Mao, Sri Sri Perangur, Colin McFarland Another day, another custom script to analyze an A/B test. Maybe you’ve done this before and have an old script lying around. If it’s new, it’s probably going to take some time to set up, right? Not at Netflix. ABlaze: The standard view of analyses in the XP UISuppose you’re running a new video encoding test and theorize that the two new encodes should r
傾向スコアを用いた因果推論入門~理論編~ - 下町データサイエンティストの日常
0. はじめに 1. 因果推論~施策の本当の効果~ 1.1 TVのCMを見るとアプリのプレイ時間が短くなる！？ 1.2じゃぁ理想的な比較方法は？ 1.3 背景要因を揃えた比較が難しい問題 1.4 反実仮想：仮に「xxxしたら / しなかったら」の効果算出 2. 傾向スコアを用いた効果測定 2.1 絶対にこの条件は守ろう ~ 「SUTVA」/「強く無視できる割り当て条件」~ 2.1.1 SUTVA 2.1.2 強く無視できる割り当て条件 2.1.3 どうやって条件が成り立ってるか確認するの？ 2.2 傾向スコアとは 3. 傾向スコア算出 3.1モデリング 3.2モデルの評価 4. 傾向スコアを用いたマッチング 4.1 マッチングのお気持ち 4.2 様々なマッチング手法 4.3 マッチングのメリット / デメリット 4.4 マッチングの評価 4.5 そもそも傾向スコアをマッチングに用いるべ
機械学習のビジネス上の価値を「効果測定」して「数値評価」する方法 - 六本木で働くデータサイエンティストのブログ - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 気が付けば、日本における第一次データサイエンティストブームから6年、人工知能ブーム開始から3年が経ったようです。意外と言っては何ですが、これまでのところ人工知能ブームも、そしてそれにブーストされた形で起こった第二次データサイエンティストブームも、まだまだ続くどころかどんどん加速していきそうな状況です。 なのですが、これだけ統計学や機械学習のような高度なデータ分析技術がビジネスの現場に浸透するようになった現在でも、なぜかあまり多く見かけないものがあります。それは「機械学習（もしくは自動化された統計分析）によるビジネス上の成果を数値として示したもの」。意外かもしれませんが、個人的な観測範囲では例えば「Deep Learningを導入したら〇〇がXX%向上した」みたいなリリースや記事を見かけることは、正直なところ思った以上に少ないように思われます。それでも第
Experiments at Airbnb
By Jan Overgoor Airbnb is an online two-sided marketplace that matches people who rent out their homes (‘hosts’) with people who are looking for a place to stay (‘guests’). We use controlled experiments to learn and make decisions at every step of product development, from design to algorithms. They are equally important in shaping the user experience. While the basic principles behind controlled
scipy.stats - scipyの統計関数群のAPI - keisukeのブログ
scipyにはstatsという統計関数をまとめたモジュールがあります． statsにはいろいろな統計関数が用意されていますが，APIは統一されていますので，それについてちょっとまとめてみます． どんな統計関数があるの？ かなりの種類があり，すべてを書くわけにはいかないので， 公式のリファレンスへのリンクを置いておきます． 連続確率変数 離散確率変数 API 各統計関数は，scipy.stats.hogeとしてアクセスできます． 例えば，正規分布なら，scipy.stats.normです． APIはすべての統計関数で共通なので，以下では正規分布の例を使います． from scipy.stats import norm # 正規分布 rvs (Random variates) 確率変数 x = norm.rvs(loc=0, scale=1, size=1) 期待値loc，標準偏差scaleの
Author videos | Online Resources
An introduction to Hamiltonian Monte Carlo Video coming soon U turns in posterior space: motivating the NUTS sampler Video coming soon You are using a browser version that is no longer supported by this website and could result in a less-than-optimal experience. To ensure full site functionality, please use an alternative web browser or upgrade your version of Internet Explorer.
競争優位性構築のための人間中心機械学習〜CVRからUXへ〜 - LIVESENSE Data Analytics Blog
テクノロジカルマーケティング部データマーケティンググループにてデータサイエンティスト兼UXアーキテクトをしている新保と申します。普段は機械学習を中心としたデータ活用の推進や新規機能のユーザ体験の設計をしています。ここ1年程リブセンスではサービスの戦略レイヤーや主要機能と結合度の高い領域に対して機械学習を適用していくことに挑戦しており、今回はそれらを実際にどのように行っているかをご紹介したいと思います。 パッチ型機械学習の成功体験とその限界 本題に入る前にリブセンスのデータ活用の歴史について少しお話しします。以前に別のメンバーが投稿した記事に詳しい説明がありますがリブセンスでは2014年にデータ活用の専門組織を立ち上げてから現在に至るまで機械学習のビジネス活用を継続的に行っています。初期の頃は既存サービスの枠組みの中でサービスとの結合度が出来る限り低く、かつ利益インパクトが大きい領域に機械学
「確率統計－機械学習その前に v2.0」を公開した - hidekatsu-izuno 日々の記録
以前、社内の勉強会用の資料として作成した「確率統計-機械学習その前に」という資料を今回大幅に改定して公開しました。 改定の一番のポイントは、統計分析の総覧的なガイドとして使えるようにしたことです。正直な話、内容的に私自身も十分に理解出来ていない部分も多いのですが、いろいろ調べた結果、なんとなく統計分析の手法マップ的なものが頭の中に出来上がってきたので、それをアウトプットとしてまとめてみました。 確率統計－機械学習その前に v2.0 from Hidekatsu Izuno 確率統計に限った話ではありませんが、新しい分野を学ぶ初学者にとって、全体像がよくわからないため混乱することが少なくありません。この資料を読むことでなんとなくでも全体を把握できていれば、他の文献を読む際にも理解が容易になるのではと思っています。 例によって、確率統計については完全に素人なので、間違いもあるかもしれません。そ
統計検定を理解せずに使っている人のために II
408 化学と生物 Vol. 51, No. 6, 2013 15 μ σ μ σ μ σ 16 セミナー室 研究者のためのわかりやすい統計学-2 統計検定を理解せずに使っている人のために II 池田郁男 東北大学大学院農学研究科 15 16 409 化学と生物 Vol. 51, No. 6, 2013 μ σ σ σ μ σ * 17 μ σ μ σ * μ μ μ Z n 1 1 = − ( ) X µ σ σ 18 μ σ σ σ σ σ μ σ μ μ μ σ / n σ / n σ / n σ / n * * 17 18 σ 410 化学と生物 Vol. 51, No. 6, 2013 t u n 1 1 = − ( ) X µ σ σ σ σ σ μ t X 1 1 = − ( ) µ SE 19 μ μ μ μ μ 20 μ σ μ μ σ μ μ u n / 19 20 4
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Two years have passed since I got into data analysis
Statistics (scipy.stats) — SciPy v1.1.0 Reference Guide
データマイニングの話詰め合わせ
