世界最高の選手リオネル・メッシの何がすごいのかが統計的データ分析で明らかに
ネイト・シルバー氏といえば、米大統領選の勝敗を全50州分的中させたり、野球選手の成績を予測するための統計ツールPECOTAを開発した人物として知られる天才データアナリストです。そんなネイト・シルバー氏が新しく立ち上げた、統計を使ってあらゆる事象を分析するニュースサイトがFiveThirtyEightで、ここでスポーツ関連のデータアナリスト兼ライターを務めるBenjamin Morrisさんが現在世界ナンバーワンのサッカー選手と目されているリオネル・メッシ選手に関するさまざまなデータを分析しまくったところ、メッシ選手は通常ではほとんど不可能な要素を両立しまくったまさにミラクルな選手であることが判明しました。 Lionel Messi Is Impossible | FiveThirtyEight http://fivethirtyeight.com/features/lionel-messi
SciencePortal | 科学技術の最新情報を提供する総合WEBサイト サイエンスポータル
3月28日 農業は地球の環境悪化の緩和に重要な役割を果たす フランス農学・獣医学・林学研究院 アグリニウム会長 マリオン・ギュー 氏 3月8日 近未来SF漫画で描かれるテクノロジーの未来 漫画家 山田胡瓜さん 12月28日 「世界中の望遠鏡が協力して中性子星合体を観測 ―重力波と光の同時観測『マルチメッセンジャー天文学』の幕開けは、何を意味するのか?」 理化学研究所仁科加速器研究センター 玉川 徹 氏 4月2日 《JST主催》「トップサイエンスによる社会変革への挑戦」―JSTの第2回ACCELシンポジウム開催 サイエンスポータル編集部 3月22日 第84回「日本発のデザインバイオロジー確立に向けて」 科学技術振興機構 研究開発戦略センター ライフサイエンス・臨床医学ユニット 山本秀明 氏 3月9日 市民の感情に「科学的知見」を持つ科学者はどう向かい合うか―AAAS年次総会2018レポート
分析のいろんな仮定と，それに対する頑健さ・対処法 | Sunny side up!
統計分析にはいろんな「仮定」があります。例えば，ｔ検定はデータが正規分布である必要がある，などなど。しかし，仮定を満たさないからといって，その方法が全く使えなくなるとは限りません。 そこで，よく使われる統計手法の仮定と，それらに対する頑健さ，つまりどれぐらい逸脱を許容できるのかについてまとめておきます。 また，仮定の逸脱に対して脆弱なものにたいして，どのような対処が可能かについても書いておきます。 ただ，この記事で書いているいくつかの基準は，ただの目安なので盲目的に信じないでください。僕は統計の専門家ではないので，「ああ，そんな感じなのね」的に受け取ってもらえればと思います。 二群の平均値の差の検定（ｔ検定） いわゆるｔ検定の仮定は，3つあります。 ・母集団が正規分布に従っている（母集団の正規性の仮定） ・二群の分散が等しい（分散の均一性の仮定） ・サンプルが独立に抽出されている（サンプル
MIT白熱教室 これからの因果推論を考えよう
accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT ......................................................................................................................... .....................
ビッグデータにおける統計的有意性 - himaginary’s diary
というエントリがBig Data Econometricsなるブログに上がっていることを昨年末にDave Gilesが紹介している。 以下はそのブログエントリ「Statistical significance in Big Data」からの引用。 It has been recognized for some time that when using large data it becomes “too easy” to reject the null hypothesis of no statistical significance, since confidence intervals are (Granger, 1998). The problem with a standard t-test in large samples is that it is replaced by it
数字で振り返る2013年のJ1:「フットボール狂の宴」用のブロマガ - ブロマガ
2013年のJ1は、広島の優勝で幕を閉じた。昨季に続く2連覇で、その強さを改めて証明した格好だ。ただ、無敗記録を打ち立て一時は首位に立った大宮が急落し、最終節まで首位を走った横浜FMも最後に逆転を許すなど、シーズンを通じて大混戦。世界的に稀有な“群雄割拠”の時代に終止符は打たれなかった。しかし数年来、J1で明暗を分ける条件は不動だ。優勝争いを繰り広げるチームと降格圏に沈むチームには、一目瞭然の共通点がある。「得点」、「失点」、「得失点差」、「シュート数」、「決定率」(1点を奪うために必要なシュート数)、「被シュート数」、「防御率」(1点を失うまでに浴びるシュート数)の7項目でベスト5とワースト5を明らかにしながら、順位との関連性を詳(つまび)らかにする。 ○J1を生き抜くために必要な得点力 得点を多く決めたチームが勝つ―。フットボールに限らず、スコアを競うスポーツであれば当然の掟(おきて)
宇佐美貴史の今季19試合18ゴールの凄さについてシュート数等のデータを基準に語ってみた | サッカーコラム速報でろブロ
J2のリーグ戦全日程が終了しましたが、今季の得点王はジェフユナイテッド千葉FWケンペスとなりましたが、今回は宇佐美貴史についてデータをソースに振り返りたいと思います。 Source:http://soccer.yahoo.co.jp/jleague/stats/j2 データで見るともっと面白い 今季の宇佐美貴史は18試合19得点で得点ランク2位となっており、1位のケンペスが38試合22得点である事を考えると決定力には大きな差があるように感じます。 ですがJリーグが公開していると思われるYahoo!に掲載されているデータを引用するともっと面白い事実が沢山浮かび上がってきます。 例えば90分間の平均得点で見てみると、ケンペスが0.6、3位内村が0.6、4位サビアが0.8となっており、宇佐美貴史はなんと1.1と2倍近い確率になっています。だがしかーし！シュート決定率で見ると、1位ケンペスは0.1
データ ＆ アナリティクス | アクセンチュア
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
統計データAPI エクスプローラ
統計一覧 以下の統計を順番にクリックしていくと提供されている統計データの一覧が表示できます。 00020111 民間企業の勤務条件制度等調査 (人事院) 00020112 国家公務員死因調査 (人事院) 00020131 国家公務員災害補償統計 (人事院) 00020151 退職公務員生活状況調査 (人事院) 00020211 一般職の国家公務員の任用状況調査 (人事院) 00100001 景気ウォッチャー調査 (内閣府) 00100101 情報化社会と青少年に関する調査 (内閣府) 00100102 青少年の生活と意識に関する基本調査 (内閣府) 00100103 低年齢少年の価値観等に関する調査 (内閣府) 00100104 非行原因に関する総合的研究調査 (内閣府) 00100105 青少年のインターネット利用環境実態調査 (内閣府) 00100107 若者の生活に関する調査 (内閣
統計にダマされないための4つの原則 | ライフハッカー・ジャパン
統計は、現代社会に欠かせないものとして定着しています。さまざまなニュース記事に登場し、暮らしのあらゆる面に影響をおよぼす政策の決定にも用いられます。ただ残念なのは、多くの人が、統計を根本的なレベルで大きく読み間違えやすいことです。 統計を意味あるものにするための4つの原則を紹介します。 1．「99％の精度」のテロリスト判別装置：基準率の錯誤 「基準率錯誤」と呼ばれる統計の読み間違いの例を挙げてみましょう。 ある会社では、従業員の25％が女性で、75％が男性だとします。表面的には、この会社は男性に偏った採用をしているように見えるかもしれません。なぜなら、（少なくとも米国では）男女の人口分布はほぼ同じだからです。ですが、この見方は応募者の内訳を考慮していません。もし女性の応募者が全体の10％しかいなければ、採用率は男性よりも女性のほうが高いことになります。 もうひとつのよく知られた例として、「
産総研：ビッグデータから新たな科学的発見をもたらす統計手法を開発
ビッグデータからの科学的発見のためには、正確な検定値（Ｐ値）の算出が必要。 超高速アルゴリズムを用いた新たな統計検定手法を開発し、発見力を大幅に改善した。 物理学、医学、化学など全ての実験科学において世界中での広い利用が期待される。 ＪＳＴ 課題達成型基礎研究の一環として、産業技術総合研究所 生命情報工学研究センターの津田 宏治 主任研究員（ＪＳＴ ＥＲＡＴＯ「湊離散構造処理系プロジェクト」グループリーダー）、東京工業大学 大学院情報理工学研究科 計算工学専攻の瀬々 潤 准教授、理化学研究所 統合生命医科学研究センターの岡田 眞里子 チームリーダーらは、従来に比べて格段に高い精度で誤発見の確率を示す検定値（Ｐ値）を計算するアルゴリズム（手順）を開発しました。 自然科学で得られるデータ量は増加の一途をたどり、これらを有効に解析できる方法が望まれています。しかし、従来の統計検定手法は観測できる
なぜコンフェデ杯で全敗したのか!?データが示す日本代表の意外な弱点。（木崎伸也）
イタリアには善戦したものの、終わってみれば3戦全敗と惨敗した日本代表。ザッケローニ監督は「どこを強化するかというところがはっきり見えてきた」と語ったが、W杯まで残り1年で巻き返せるか。 「私たちの分析システムでは、ゴール前でタックルが成功すれば、 サイドのライン際で成功するよりも高いポイントを得る」 （FIFAに分析データを提供しているカストロール社） はたして日本は強いのか、弱いのか――。 コンフェデレーションズカップで3連敗したことで、ザッケローニ監督および選手への評価が揺れている。一部のメディアでは監督を替えるべきではないかという声が出ているほどだ。 ただ、ザックが練習を非公開にして戦術の細部と全貌を明かしていないため、批判も抽象的なものが多く、具体的に何が良くて、何が悪いか、はっきりさせられていない印象がある。 こういうときは主観を排除し、データをヒントにすると見えて来るものがある
巨人の新人・菅野投手のすごさの秘密 セイバーメトリクスが示すもの
統計学の考え方は、混沌とした複雑社会を読み解く強力な武器になる。身近なところでは、迷惑メール（スパム）の撃退に、主観的な確率を駆使したベイズ統計学が活用されている。送られたメール文の中に「交際」「援助」「恋愛」などのキーワードがどれくらい含まれるかを数え、スパムかどうかの確率をはじき出すのである。こうした過去のデータをもとに、将来を科学的に予測する統計学の手法は、今やビジネスの世界では不可欠な道具でもある。 新たなデータ野球「セイバーメトリクス」 スポーツの世界も例外ではない。その端的な例が、野球である。戦略、選手の潜在能力査定、活躍の予測などに広く統計学の手法が応用され始めている。「セイバーメトリクス」というデータ分析法である。 データを駆使した科学的な野球と言えば、野村克也前楽天監督がヤクルト時代に導入したＩＤ野球が有名だが、セイバーメトリクスは、これをはるかに上回る興味深い視点を提供
国勢調査など政府統計データをCSV化してダウンロードできる「統計くん」 政府API活用
個人開発者の矢野さとるさんは6月12日、10日に公開された「次世代統計利用システム」のAPIを活用し、国勢調査などの政府が持つ統計データをCSV形式でダウンロードできるWebサービス「統計くん」を公開した。 次世代統計利用システムは、統計のオープンデータの高度化に向け、統計センターが総務省統計局と協力して提供しているシステム。政府の統計ポータル「e-Stat」でデータベース化されている統計データを、XMLやJSONなどで出力するREST方式のAPIを提供している。 統計くんは同APIを活用し、国勢調査、事業所・企業統計調査、全国物価統計調査、家計消費状況調査などについて、調査結果をWebブラウザ上に表示したり、条件を絞り込んで分類したり、CSV化してダウンロード可能。今後は、グラフ生成やクロス集計機能などの実装を検討している。
因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk：林岳彦の研究メモ
どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には
アメリカ大統領選挙の結果を予言したデータサイエンティストだけど何か質問ある？ | AMAの世界
僕はネイト・シルバー。FiveThirtyEightの創設者だ。このブログはニューヨーク・タイムズの読者向けに、データで溢れかえり雑然としたこの世界を、わかりやすく解き明かしている。また、「シグナルとノイズ」という、”予測”の世界についての本を書いた。Amazonで購入できる。 なんでも聞いてくれ。特にお話したいのは、2012年の大統領選の予測、どのようにして投票の流れが変わったか、アメリカの財政やスポーツについてだ。 元スレ: IAmA blogger for FiveThirtyEight at The New York Times. Ask me anything. （訳注: ネイト・シルバーはセイバーメトリクス（野球で、データの統計学的分析から選手を評価したり戦略を考える手法。日本では映画「マネー・ボール」で有名になった）を用いたシステムを開発したのち、選挙予測の世界へ進出すると、
小標本問題と t検定 - ほくそ笑む
統計を学び始めると「t検定」というのが最初のほうで出てくると思います。 t検定は、20世紀前半に活躍した統計学者、ウィリアム・ゴセットによって「小標本問題」というのを解決するために考案されました。 小標本問題とは、正規分布の平均値の検定に正規分布を用いると、サンプルサイズが小さい場合にαエラーを過小評価してしまうという問題です。 今日はこの小標本問題とそれを解決する t検定について R によるシミュレーションを使って説明してみたいと思います。 正規分布の平均値の検定 確率変数 が正規分布に従うとき、その平均値もまた、正規分布に従います。 数式で書くと、 となります。（分散が されていることに注意） なので、正規分布の平均値の検定には正規分布を使用すれば良いように思われます。 これを R でシミュレートしてみましょう。 # 正規分布を使用して平均値が 0 と等しいかの p値を求める norm
ファンの心をつかめるか。～プロ野球とJリーグの観客動員力～（小川勝）
2012年のJ1最終節、試合終了後もスタジアムに居残るガンバ大阪のサポーターたち。ガンバのJ2降格により、2013年のJ1観客動員数にはどんな影響が表れるのか。 プロ野球とJリーグの観客動員は、日本のスポーツをめぐる経済事情を反映する代表的な数字の一つだろう。大型スタジアムに、1万人単位の観客を毎週集めるスポーツは、この二つ以外にはない。プロ野球は年間延べ2000万人以上、Jリーグも500万人以上が、会場に足を運んでいる。全員が有料入場者ではないが、ほとんどの人は交通機関を使って会場に行き、チケットを買う。多くの人が会場内またはその周辺で飲食をする。会場や専門ショップでグッズを買う。観客動員は、チームの収入源というだけでなく、スポーツが経済に貢献できる一番の裏付けだ。 こちらは雑誌『Number』の掲載記事です。 NumberWeb有料会員になると続きをお読みいただけます。 残り: 182
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プレーデータ分析～13/5/6 神戸vsＧ大阪～ 神戸完勝の裏側を探る
daihyou.jp