カイ二乗検定のメタアナリシスをやってみた（階層ベイズでも試してみた追記あり＆タイトル変更済み） - 渋谷駅前で働くデータサイエンティストのブログ
記事タイトルに反して僕は実は統計的検定が大嫌いなんですが、皆さんいかがお過ごしでしょうか（笑）。ということで、今回はややマニアックなメタアナリシスの話題でもしてみようかと思います。「t-testのメタアナリシス」みたいな、いわゆるRosenthal's methodとして知られているような一般的な話題にもちょっとだけ触れています。 今回想定しているシチュエーション 例えばですが、「あるパーソナライズされた*1動線改善を4つの異なるeコマースサイトで行った」みたいなケースを想定してみます。それぞれのeコマースサイトは独立した事業者であるため、統一したアクセス解析はできないものと仮定します。で、動線改善は「お気に入り→購入」のところに施したとして、ここでA/Bテストを行ったと仮定します。この時、アクセス解析の結果からいわゆる2×2分割表として サイトA 非CV CV 改善なし 250 125
[Stan]生存時間分析のコードと便利なデータセットについて – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト はじめに 仕事で生存時間分析を使うことは結構あるのですが、マーケティングの良いデータセットがない印象でブログにしにくいと感じていました。また、Stanでの生存時間分析の事例もあまり把握していません。そこで使えそうなデータセットやStanのコードを探して、そのデータに対して生存時間分析を適用してみたいと思います。 目次 ・生存時間分析とは ・生存時間分析で使えるデータ ・生存時間分析をマーケティングで使う際の用途 ・先行研究 ・生存時間分析で使えるデータセット ・Sta
![[Stan]生存時間分析のコードと便利なデータセットについて – かものはしの分析ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
＜実践＞はじめてのKaggle体験記 - kurupicalのブログ
機械学習を勉強し始めて１年が経ちました。 そろぞろ何か一つ目に見える実績を上げたいと思いたち、 ５月から８月までHomeCreditというKaggleのコンペをやっていました。 Home Credit Default Risk | Kaggle 最終的に、7198人中62位で終わることができました！ Kaggleをやってみようかなと思っている人向けに、自分の体験記を残しておこうと思います。 わからない用語は、Kaggle Words For Beginnerを参考にしてください。 もくじ スペックと前準備 コンペ内容の確認 コンペ参加 感想 0. スペックと前準備 スペック 文系卒(数学は好き) SIerでCOBOLとjavaを５年→業務で機械学習1ヶ月(研修みたいなもの) 個人でちゃんと勉強した本（ちゃんと＝写経した≠理解した） ゼロから作るDeep Learning ―Pythonで学
Statistical Methods for HCI Research
This wiki was initially started as my personal note of statistical methods commonly used in HCI research, but I decided to make it public and put more content in it because I think this may be useful for some of you (particularly if you use R). I will also put some codes for R, so you can quickly apply the methods to your data. This wiki does not emphasize mathematical aspects of statistics much,
「統計思考の世界」 - shorebird 進化心理学中心の書評など
統計思考の世界 ?曼荼羅で読み解くデータ解析の基礎 作者: 三中信宏出版社/メーカー: 技術評論社発売日: 2018/05/18メディア: Kindle版この商品を含むブログ (2件) を見る 本書は三中信宏による「思考の体系学」「系統体系学の世界」と併せて単系統群トリロジーを構成する統計思考にかかる一冊．三中は様々な場所でリサーチャー向けに統計学の講義を担当しており，その際にカリキュラムとして話してきた内容が整理されたいわば「講義録」になる． 後の2冊が春秋社，勁草書房といういかにも文系向けの出版社から，「縦書き物理本のみ」という数字アルファベット数式混じりの文章を扱う上で全くユーザーフレンドリーでない形式で出版されたのに対して，本書は技術評論社から「横書き電子版同時出版」というスマートでユーザーフレンドリーな形式で出版されておりうれしい限りだ． プロローグ 冒頭ではいきなり，昨今では「
プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜 - スタディサプリ Product Team Blog
Quipper で Web Engineer 兼 Engineering Manager を務める @ohbarye です。スタディサプリの開発、その中でも特に合格特訓コースや決済周りの機能開発・保守が主な業務です。 弊社が開発するプロダクト「スタディサプリ」ではA/Bテストを用いたプロダクトの改善を行っています。Quipper の行動指針の一つに "Fact based" という言葉が含まれており、憶測や独断ではなく計測されたデータや事実に基づいて意思決定することが強く推奨されているためです。 このたびスタディサプリにおいて負債と考えられていた機能を「消してよいかどうか」、A/Bテストを通して判断しました。その際に用いた手法や結果、そこから見えたこと、考えたことをご紹介します。 プロダクトの負債とは プロダクトチームにとって負債と考えられていたのは「キャリア決済」という決済手段でした。そ
📈統計的問題を回避するためのデータ解析のプロトコル (Zuur et al. 2010): 4 データの中にゼロがたくさんあるか？ - cucumber flesh
この記事では統計的問題を回避するためのデータ解析のプロトコル (Zuur et al. 2010)で扱われているゼロ過剰問題を取り扱っている。 uribo.hatenablog.com 離散値の整数かならるカウントデータの多くはポアソン分布に従うことが一般的である。しかし、ある生息地における生物の観察数やスポーツにおける試合の得点など、０を多く含むデータが存在する。 そうしたデータについて統計モデルを適用する場合、ポアソン分布や負の二項分布を仮定した一般化線形モデル GLMなどを行うと、ポアソン分布で期待されるよりも過剰（あるいは過少）にデータが観測されることがあり推定がうまくいかないことがある。そのデータのように０の割合が多いデータに対して有効なモデルがゼロ過剰なポアソン分布モデル Zero-inflated Poisson Distribution: ZIPモデルである。 📉 カウン
P値を捨てた雑誌で使われている統計量
ラジラジ言っている北海道の心理学者PsycheRadio氏と話をしていたときに、「心理学で（他の学問でも）統計的検定や推測統計学への批判が高まって以前ほど使われなくなりつつある」と言われたが、違和感がある。少なくとも社会科学分野で使われなくなったとは聞かない。話の流れにあわせて誤魔化されている気がするので確認してみた。 1. 確かに統計的仮説検定は非難されている PsycheRadio氏が全く無根拠な話をしているわけではない。統計的仮説検定によって、胡散臭い統計手法で有意性を捻り出してしまうこと（p-hacking）などが問題になっており、また統計モデルと研究上の仮説の相違を理解しない運用もある。アメリカ統計学会（ASA）が統計的仮説検定に対する注意を喚起する声明を出したぐらいだ。実際に、統計的仮説検定を禁止された雑誌もある。氏が例に挙げたBasic and Applied Social
［R+Google アナリティクス］リセンシーどこで切るチャート - 廿TT
アクセス解析の分野ではユーザーの離脱率や維持率を把握したいというニーズがあります。しかし、離脱するユーザーは単にサイトへの訪問を止めるだけで、わざわざ離脱を申告することはめったにありません。このような場合、例えば 「3ヶ月訪問がなければ離脱したと判断する」などのルールを決めることがあります。この「離脱した」と判断する区切りは、3ヶ月がいいのか、2ヶ月がいいのか、4ヶ月がいいのか、難しいところです。 その判断をサポートするために以下のようなグラフを書いてみてはいかがでしょうか。 データセットを学習期間と評価期間に分ける 閾値を定める 学習期間で閾値を超えた日数訪問しなかったユーザーを「離脱」、それ以外を「維持」と判断 維持と判断されたユーザーが、評価期間に再訪問があったユーザーの内、何パーセントかを数える（active） 同様、維持と判断されたユーザーが、評価期間に再訪問がなかったユーザーの
メモ：時系列とか連番のデータを補完するときはtidyrのcomplete()とfull_seq()が便利そう - Technically, technophobic.
追記：これは「補間」とは言わないかも…。期待外れだったらすみません。 前にこんな記事を書きました。 で、これはたまたま毎分データがあったからよかったんですが、もっととびとびのデータの時どうするんだろう？と思ってたらtidyrパッケージのcomplete()とfull_seq()が便利そうだったのでメモ。 おさらい complete() complete()は、分かりづらいんですが、暗黙の欠損値を明示的な欠損値（NAとか0とか）して出現させる関数です。ヘルプにもそう書かれています。 Turns implicit missing values into explicit missing values. これはどういうことかというと、例えばこういうデータがあったとき、何を思うでしょうか。 library(tidyverse) d <- tribble( ~name, ~lang, ~chotto
オープンデータ取得先まとめ - Qiita
2018/1/1時点で利用可能な、オープンデータの主要取得先を記載します。 1. 世界中の国や都市の情報 EUとイギリス Public Data EU http://publicdata.eu Open Data Europe http://data.europa.eu/euodp/en/home UK Government Data https://data.gov.uk アフリカ Africa Open Data https://africaopendata.org Code for South Africa http://code4sa.org Code for Africa https://codeforafrica.org アジア Open Cities Project http://www.opencitiesproject.org Open Nepal http://data
彼女に振られないための変化検知入門 - Speaker Deck
R の changepoint パッケージの使い方についてです。 第66回R勉強会＠東京（#TokyoR）発表資料 https://atnd.org/events/92993
はじめよう多変量解析～主成分分析編～
【論文読み会】Deep Clustering for Unsupervised Learning of Visual FeaturesARISE analytics
筋トレが病気による死亡率を減少させる幸福な真実 - リハビリmemo
2017年11月7日、アメリカ・ABCニュースで興味深い記事が掲載されました。 「筋トレがすべての病気の死亡率を減少させる」 ✻How sit-ups and push-ups could ward off an early death - ABC news これは2017年10月に報告された8万人の大規模研究の結果を伝えたものです。シドニー大学のStamatakisらは、世界で初めて、筋トレと病気による死亡率に関する大規模な疫学的研究を行ったのです。 今回は、Stamatakisらの大規模研究の結果をご紹介しながら、筋トレが病気による死亡率に与える効果とそのメカニズムについて考えてきましょう。 Table of contents ◆ 筋トレはがんやすべての病気の死亡率を減少させる ◆ 大規模研究が明らかにした幸福な真実 ◆ 読んでおきたい記事 ◆ 参考論文 ◆ 筋トレはがんやすべての病気
Facebookの予測ツールProphetについて発表しました - ほくそ笑む
Facebook が出した誰でも簡単に時系列予測ができるツール Prophet についていくつか発表しました。 Prophet入門【Python編】 Prophet入門【R編】 Prophet入門【理論編】 Prophetはビジネス時系列、すなわち人間の行動に左右される時系列データに対する自動予測ツールです。 ビジネスでは大量の時系列データに対する予測を作成する必要があります。 しかし、それを1人のデータ分析者が1つ1つ作っていくのでは手が足りません。 そこで、統計の知識を必要しない、誰にでも簡単に時系列予測を行うツールとして Prophet が作成されました。 Prophet はオープンソースで開発され、Python と R のライブラリが公開されています。 まずは今年5月に Python版についての発表を foundIT データ解析・機械学習セミナー にて行いました。 Python版の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
corrr_test.nb.html
RPubs - Rで推定する回帰モデル入門
https://mrunadon.github.io/RStan%E3%81%A712%E7%A8%AE%E9%A1%9E%E3%81%AE%E7%B7%9A%E5%BD%A2%E9%9D%9E%E7%B7%9A%E5%BD%A2%E5%9B%9E%E5%B8%B0%E3%83%99%E3%82%A4%E3%82%BA%E7%B5%B1%E8%A8%88%E3%83%A2%E3%83%87%E3%83%AA%E3%83%B3%E3%82%B0%E3%83%BC%E3%83%BC%E3%83%A9%E3
mathgram.xyz