タグ

統計に関するNOV1975のブックマーク (17)

  • p値を計算したくなる検定の数々を試しにStanによるベイジアンモデリングで代替してみた - 渋谷駅前で働くデータサイエンティストのブログ

    この記事は、やたらはてブを稼いでしまった前回の記事の続きです。 ASAのプレスリリース及び声明の中には、確かに「p値に依拠しない新たなアプローチの例」として予測値を重視するアプローチ*5、ベイジアンモデリング、決定理論的アプローチ*6およびfalse discovery rate*7といったものを用いるべき、という趣旨のコメントが入っています。とは言え、重回帰分析とか機械学習のような多変量モデリング(なおかつサンプルサイズも大きい)を伴うテーマならともかく、統計学的仮説検定のようなサンプルサイズも小さい(データも少ない)シチュエーションでどうやるんだよ的な疑問を持つ人も多いのではないかと。 そんなわけで、実際にそれっぽい各種検定の数々をStanによるベイジアンモデリングで代替してみたので、この記事ではその結果をつらつら紹介してみようと思います。テーマは前々回のこちらの記事の1節で取り上げた

    p値を計算したくなる検定の数々を試しにStanによるベイジアンモデリングで代替してみた - 渋谷駅前で働くデータサイエンティストのブログ
    NOV1975
    NOV1975 2016/03/10
    オーバーキルwwまあそういう場合がほとんどな気もする
  • 「p値や有意性に拘り過ぎるな、p < 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明 - 渋谷駅前で働くデータサイエンティストのブログ

    以前から同様の指摘は様々な分野から様々な人々が様々な形で出してきていましたが、アメリカ統計学会が以下のような明示的な声明をこの3月7日(現地時間)に発表したということで注目を集めているようです。 AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON STATISTICAL SIGNIFICANCE AND P-VALUES Provides Principles to Improve the Conduct and Interpretation of Quantitative Science https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf The ASA's statement on p-values: context, process, and p

    「p値や有意性に拘り過ぎるな、p < 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明 - 渋谷駅前で働くデータサイエンティストのブログ
    NOV1975
    NOV1975 2016/03/09
    元々そういう世界のはずなんだけど…有意性がある≠真実であることなんてみんなわかっているし、p>0.05である事象はあまり信頼性がないということもみんなわかってる上で拘っているんじゃないの?
  • 社会心理学系雑誌BASPがPバリューによる仮説検定を全面的に禁止 | スラド サイエンス

    Basic and Applied Social Psychology (BASP)という社会心理学の雑誌がPバリュー(p値、優位確率)を使った仮説検定を全面的に禁止するポリシー変更を行ったようだ(Nature)。 この雑誌の編集者であり、New Mexico State Universityの心理学者でもあるDavid Trafimow氏らによると、Pバリュー5%における棄却率は甘すぎて質の低い研究を正当化するために悪用・乱用されているという。査読の段階でPバリューを含めた論文を送ってきてもよいが、掲載時にはPバリューは完全に取り除かれるとのこと。 Trafimow氏は「すべての学術雑誌からPバリューが消えるのが望ましい」と考えているそうだが、ではその他の統計手法で何が一番良いかは分からないそうだ。 このポリシー変更に対する科学者の反応は様々だが、University of Oregon

    NOV1975
    NOV1975 2015/03/10
    なんとなくだけど、仮説やローデータのクオリティを確認するの面倒だなー的な話だったりしないかと思ってしまったりする。P値検定そのものが悪いんではなかろう。
  • 統計学的検定に対するある拒絶反応

    「この最後の信頼区間の使い方違和感ありません?」と言われて、「仮説検定はいらない(Request for Comments|ご意見求む)」と言うブログのエントリーを見てみたら、色々と統計学への誤解が積み重なっており、さらにデータが仮説を裏付けないと言う事実に拒絶反応を示していた。色々と問題があるのだが、気付いたところを幾つか列挙してみたい。 1. 仮説検定は基的に行うべき 問題エントリーで『「施策の効果をテストしたいな」「はい。仮説検定」って、それってのび太くんにとって有益なの?』と言っているが、仮説検定をしないのはむしろ有害に思える。やっても毒にも薬にもならない事もあるわけで、そういう状況を示せ無いようなデータ分析にどれほどの意味があると言えるのであろうか。創意工夫した施策の効果が有意性無し(=施策の効果があるとは言えない)と言われたら面白くは無いであろうが、必ずしも都合の良い結果が出

    統計学的検定に対するある拒絶反応
    NOV1975
    NOV1975 2014/01/06
    多変量解析についてはどうせそういう結論を出す奴らは面倒臭がってやらないという前提で話しているようにも思えるな
  • はてなブログ | 無料ブログを作成しよう

    我が家のダグウッド ダグウッドとはハナミズキのことである。昔、日からポトマックリバーの桜の苗木を送った返礼として、アメリカから送られて来たのが日での始まりで、アメリカ原産でアメリカヤマボウシともいうらしい。 最近では日でも、あちこちで、街路樹であったり、庭木であっ…

    はてなブログ | 無料ブログを作成しよう
    NOV1975
    NOV1975 2013/01/09
    有意差が出ないことも結果として有用と言いたいところだけど、直近の目標に対してはそれだと困ることのほうが多いんだろうな。
  • 「7%水準で有意?!」 統計検定における有意水準をめぐる議論

    統計検定における有意水準の考え方をめぐる議論。 特にマーケティングリサーチの分析における使われ方が念頭に置かれています。

    「7%水準で有意?!」 統計検定における有意水準をめぐる議論
    NOV1975
    NOV1975 2012/10/09
    事前に決定するにしても、広くコンセンサスを得ている水準を変えるってのは結構大変なもの。事前とは何かが問われるレベル。「実験/収集前」=「事前」では絶対にないだろうな。
  • 原発事故以降アメリカ北西部で乳幼児の死亡数が35%上昇しているって、ホント? - warbler’s diary

    原発事故以降アメリカ北西部で乳幼児の死亡数が35%も急上昇しているという驚くべき統計結果が報告されていました。この報告をしたのは、医師のJanette Shermanさんと疫学者のJoseph Manganoさんです。 ・Is the Dramatic Increase in Baby Deaths in the US a Result of Fukushima Fallout? 米国における赤ちゃんの死亡が劇的に増加しているのは、福島第一原発の放射性降下物のせいなのか? <2011.6.10〜12> http://www.counterpunch.org/sherman06102011.html The recent CDC Morbidity and Mortality Weekly Report indicates that eight cities in the northwest

    原発事故以降アメリカ北西部で乳幼児の死亡数が35%上昇しているって、ホント? - warbler’s diary
    NOV1975
    NOV1975 2011/06/30
    こういう反証が簡単なデマが増えるとある意味楽だわ
  • サヨナラ検定、グッバイ統計的有意性/統計を使うつもりなら必読の論文はこれ

    Author:くるぶし(読書猿) twitter:@kurubushi_rm カテゴリ別記事一覧 新しいが出ました。 読書猿『独学大全』ダイヤモンド社 2020/9/29書籍版刊行、電子書籍10/21配信。 ISBN-13 : 978-4478108536 2021/06/02 11刷決定 累計200,000部(紙+電子) 2022/10/26 14刷決定 累計260,000部(紙+電子) 紀伊國屋じんぶん大賞2021 第3位 アンダー29.5人文書大賞2021 新刊部門 第1位 第2の著作です。 2017/11/20刊行、4刷まで来ました。 読書猿 (著) 『問題解決大全』 ISBN:978-4894517806 2017/12/18 電書出ました。 Kindle版・楽天Kobo版・iBooks版 韓国語版 『문제해결 대전』、繁体字版『線性VS環狀思考』も出ています。 こちらは10刷

    サヨナラ検定、グッバイ統計的有意性/統計を使うつもりなら必読の論文はこれ
    NOV1975
    NOV1975 2010/03/22
    「1%はともかく」ってのでややウケ。
  • 図録▽自殺許容度の国際比較

    世界価値観調査は、世界数十カ国の大学・研究機関の研究グループが参加し、共通の調査票で各国国民の意識を調べ相互に比較している国際調査であり、1981年から、また1990年からは5年ごとの周回で行われている。各国毎に全国の18歳以上の男女1,000~2,000サンプル程度の回収を基とした個人単位の意識調査である。なお、ここで取り上げている2010年期は2010~2014年の調査であるが、英国、フランスなどこれまでの常連国が含まれていない。これは、世界価値観調査と同じ調査票で実施されている欧州価値観調査が直近の2008~09年に実施済だからと考えられる。そこで、今回は、欧州価値観調査2008~09年の結果から6カ国を繰り入れてデータを掲げることとした(。 ここでは、この調査の結果から、世界58カ国の自殺の許容度についてのグラフを作成した。ここで許容度は、「間違っている(認めない)」から「正しい

    NOV1975
    NOV1975 2010/01/31
    「取り除いてみると」理由が…「かなり相関」オランダとスウェーデンが…「そうしてみると、日本の自殺率の高さ」は日本独自の自殺感ではなく全世界普遍の許容度と自殺率の相関が…/どこみてもダメだこの結論。
  • 擬似相関を考慮してるのかなあ | blog.yuco.net

    今日はてブを見ていたら、こんなニュースが目についたのですが。 親の収入高いほど子供は高学力、でも… : 社会 : YOMIURI ONLINE(読売新聞) 親の所得が高いと子供の成績は良いが、低所得でも親の心がけ次第で学力向上につながる――。昨年度の全国学力テストの結果を、文部科学省の委託を受けたお茶の水女子大の耳塚寛明教授らが分析した結果、そんな傾向が出ていることが4日、明らかになった。 (中略) 親が心がけていることについて調べたところ、高学力層の子供の親は、「小さい頃から絵の読み聞かせをした」「博物館や美術館に連れて行く」「ニュースや新聞記事について子供と話す」といった回答が多かった。このうち、「の読み聞かせ」や「ニュースを話題にする」は、親の所得に関係なく学力向上に一定の効果がみられたという。 例えば、こういう仮説を立ててみましょう。遺伝的な知能の高い親の子供は学力が高い(=学

    NOV1975
    NOV1975 2009/08/11
    「私が指摘したのは遺伝的知能によって子供の成績が左右される可能性」もともとこの仮説自体がこの調査と関係ない。
  • 平均値とメジアンの違いを文科省もわかっていなかった | Okumura's Blog

    メジアンを使おうの「平均値以下は71.9%」で朝日新聞の取り上げ方を批判したが,実は文科省の発表そのものがおかしかった。2009-01-21に発表された 平成20年度全国体力・運動能力、運動習慣等調査結果 の下のほうのPDFのp.25,p.27にこの種の記述がある。p.27には中学校について「男女とも,全ての種目において,50%以上の生徒が昭和60年度の平均値を下回っている。」と書かれている。 一般に非対称な分布では平均値は全体を50:50に分けない。メジアン(中央値)は全体を50:50に分ける(それがメジアンの定義だ)。だから,この場合は,平均値どうしを比べるか,メジアンを使うべきであった。 ゆとり教育で現学習指導要領の中学校数学から統計分野が全廃されている。高校数学でも統計分野はほとんど履修されていない。新学習指導要領で復活するが,しばらくは後遺症が続きそうだ。

    NOV1975
    NOV1975 2009/02/09
    文部科学省がゆとりレベルだから教育もゆとりにしようとしたのだろうか。
  • 0.1の有意な相関が得られた - lethevert is a programmer

    というのは、ほとんど「無関係」が証明されたに近い気がするのだけど・・・ 社会科学でも0.7くらいの相関はないと、関係あるという感じがしないのは、私だけなのですかね。

    0.1の有意な相関が得られた - lethevert is a programmer
    NOV1975
    NOV1975 2009/01/18
    0.1:まったくないとはいえない、0.4:相関があってもおかしくない、0.7:相関があると考えてもよさそうだ、くらいですかね。あんまり意味ないけど。/まあ0.1で有意な相関と言われるとちょっとね。
  • 統計のパラドックス | Okumura's Blog

    どこかで見た統計のパラドックスの最小例を作ってみた(1..nの乱数を8個生成して,パラドックスが生じる最小のnの例を一つ見つけた)。 次の表は,教授法A,Bで合格者o,失格者xの数を示したものである。男女合わせて集計すれば6/11<5/9でBが優れるが,男女別に集計すれば3/4>4/6,3/7>1/3でいずれもAが優れる。「人数が少ないから」は関係ない(全部の数値を1万倍しても同じことがいえる)。 AB oxox 男

    NOV1975
    NOV1975 2008/08/31
    直感的にはサンプル群の母数は一定割合内に収めましょうって感じなんだが…
  • 日本の携帯を高くしている真犯人は

    この賭博場は大手であることのすべての特徴を備えており、数多くのプロモーションを行って新しい賭博者を引き付けたいと考えています。 20bet はオフショア ブックメーカーで、そのオファーは非常に興味深いものです。 私たちの承認を得ていないため、多くの日人プレイヤーはそれを信頼できません。 これは素晴らしいゲーム体験を約束する国際的なオンライン賭博サイトであり、国際的な運営者であるため、提供されるオッズは高いです。 賭け事やスポーツイベントの種類は膨大です。 ウェブサイトはよく整理されており、顧客サービスは非常に迅速に対応します。 良い点 高い確率 多くの種類の賭け 応答性の高い顧客サービス マイナスポイント モバイルアプリなし 電話番号なし オッズと名前変更 運営会社 20bet.com が提供するオッズは市場で最も高く、多くの場合、従来のブックメーカーのオッズを上回っています。 これによ

    NOV1975
    NOV1975 2008/02/06
    グラフ疑うべしリテラシーの向上ははてブの成果だと思った
  • 精神科医が抗うつ薬を処方した患者は自殺を試みやすい。 - ホツマツタヱ。

    Overall incidence of suicide attempt was highest among patients receiving antidepressant prescriptions from psychiatrists (1,124 per 100,000), lower among those starting psychotherapy (778 per 100,000), and lowest among those receiving antidepressant prescriptions in primary care (301 per 100,000).http://ajp.psychiatryonline.org/cgi/content/abstract/164/7/1029自殺企図の発生率 incidence が、精神科医が抗うつ薬を処方した場合は

    NOV1975
    NOV1975 2007/12/24
    注で示されるようなバイアスを無視する議論のなんと多いことか。
  • 昔の性犯罪はそこまで高くない(騙しの統計学2)

    昔の性犯罪はそこまで高くない(騙しの統計学2) ■偉そうに言ってたくせに 前に 騙しの統計学 で、散々統計データを見る際は注意して下さいと偉そうに言っていた私ですが、すいません。騙されました。「私の脳みそではこんなものですよ」と開き直りたいものですが、やっぱりショックです。統計データを見る際は、嫌いな人の文章に難癖つけるような気持ちで見る必要がありますね。 ■このデータです さて、私が騙されたデータですが、こいつです。 特徴的なのが、昭和33年頃異常に増えた強姦件数と、急激に減っていった強盗数でしょう。特に私は強姦件数を見て、「エロがなかった時代はこんなに犯罪が多かった」「昔の人間の方が凶悪だ」とか恥ずかしげもなく言っていたのですが、、、若かったんでしょうね。 このデータは基的に「最近の少年は凶悪になった」というマスコミに主張に対するアンチテーゼとして用いられますが、どうやら

    NOV1975
    NOV1975 2007/09/25
    統計を批判するからには状況証拠(すら満足に提示されていないけど)じゃいかんのじゃないかなあ。もちろん、直感的には正しそうなんだけど。今の価値観で善悪を語る必要は確かにないしね。
  • FC2ブログ 現在アクセスが集中しています。

    現在アクセスが集中しており表示しにくい状態となっております。 申し訳ございませんが、しばらく時間を置いてからアクセスするようお願いいたします。 ・FC2フォーラム ・FC2インフォメーションブログ ・最新障害情報・メンテナンス情報ブログ

    NOV1975
    NOV1975 2007/01/11
    はずれ値っぽいのもあるし、統計的な分析としてはどうかなと思うけど、アプローチが面白いな。
  • 1