科学史から最小二乗法 (回帰分析) を説明してみる - ill-identified diary
2016/12/15: にわかに閲覧者が増えたのでおかしなところを微修正 概要 統計学史をちょっと調べていておもしろかったのでまとめてみた 技術的にはすごく初歩的な話なので, 回帰分析 (最小二乗法) の入門的な「読み物」という位置づけになりそう 入門的な読み物なので, 特に最小二乗法の説明箇所は中学高校の数学の知識だけで理解できるような表現をしている, したつもり. PDF換算で 10 ページ (ただし画像が結構多い) 惑星の軌道を予測する連立方程式で惑星の軌道を予測する19世紀初頭にフランスの数学者ルジャンドル*1が最小二乗法のアイディアを最初に発表したが, ドイツの数学者ガウス*2が直後に自分こそが先に思いついたと主張し, 論争を生んだという (Abdulle & Wanner, 2002, 200 Years of Least Squares Method). しかし, いずれが先
競馬の解析をガチでやったら回収率が100%を超えた件 - stockedge.jpの技術メモ
記事のタイトル通り、競馬で回収率100%を超える方法を見つけたので、その報告をする。 ちなみに、この記事では核心部分はぼかして書いてあるため、読み進めたとしても「競馬で回収率100%を超える方法」が具体的に何なのかを知ることはできない。（私は本当に有効な手法を何もメリットが無いのに公開するほどお人好しではないので） 本当に有効な手法を見つけたいのであれば、あなた自身がデータと向き合う以外の道は無い。 ただし、大まかな仕組み（あと多少のヒントも）だけは書いておくので、もしあなたが独力でデータ解析を行おうという気概のある人物なのであれば、この記事はあなたの助けとなるだろう。 ちなみに、これは前回の記事の続きなので、読んでない方はこちらからどうぞ。 stockedge.hatenablog.com オッズの歪みを探す さて、前回からの続きである。 前回の記事のブコメで「回収率を上げたいならオッズ
4～6月期の実質GDP、年率1.6%減 消費と輸出が低迷 - 日本経済新聞
内閣府が17日発表した2015年4～6月期の国内総生産（GDP）速報値は、物価変動の影響を除く実質で前期比0.4%減、年率換算では1.6%減だった。マイナス成長は3四半期ぶり。1～3月期（年率換算で4.5%増）から一転マイナス成長となった。個人消費が低迷したうえ、輸出の鈍化が成長率の下振れにつながった。QUICKが14日時点で集計した民間予測の中央値は前期比0.5%減、年率で1.9%減だった。
猛暑日の増加
[2018-07-20] as.POSIXct() を as.Date() に変えました。 東京管区気象台の東京における雷日数や真夏日等の日数の変化というページを見ると，猛暑日（日最高気温35℃以上）の日数が1876年以来著しく増加していることがわかる。ところが，平均気温を見ると，地球温暖化・都市化の影響で徐々に増加しているが，激しく変わっているようには見えない。平均ではなくて猛暑日の日数を見るべきであるという議論もある。しかし，「猛暑日」（日最高気温35℃以上）や「真夏日」（日最高気温30℃以上）のような分布の裾の日数は，何℃で切るかによって印象が大きく異なる。気温変化を誇張することにならないか。 「東京」の観測地点は2014年12月2日に約900m離れた地点に移転している。詳しくは「東京」の観測地点の移転について（PDF，2014年11月14日，気象庁観測部）を参照されたい。 東京の日
曖昧な根拠で住民投票の結果を「分析」する愚 « ハーバー・ビジネス・オンライン
大阪市を解体し5つの特別区を設置する是非を問う住民投票は、僅差で、反対票が賛成票を上回る結果となった。 「都構想否決」のニュース速報が流れた直後から、この選挙結果をどう捉えるべきか、実にさまざまな人々が選挙結果分析を発表している。 中でももっとも早い段階でメディアを通じて選挙結果についての分析を発表したのは、辛坊治郎氏だろう。氏は、18日早朝5時、読売テレビの「朝生ワイド す・またん！」に出演し「高齢者の方で、いまの大阪市のゆるい生活保護基準だから生活保護を受けられるけど、きめ細かい行政単位になって生活保護を受けられなくなってたら困る人たち」や「（高齢者向けの）タダのバスの切符やタダの地下鉄の切符を取り上げられたら、たまんねー（原発言ママ）という人たち」が、「圧倒的に反対派に舵をきった」のが、反対派勝利の要因であるとの見解を述べた。 つまり、「既得権益者たる高齢者による反対票が住民投票の帰
問：史上最も有名で、最も戦闘的だった統計学者は誰か？ 答え：ナイチンゲール
意志決定する人たちが数字に弱い。 基本的に、四則計算しか／もできない。 かけ算割り算（それと按分ってやつ）に大小比較が、今でも最高の意志決定手段だったりする。 どれだけたくさんデータを集めても、平均値しか求めない（し知らない）。 かつて広大な領土を持つロシアでは、統計は非常に重要視された。 ほとんどのケースで「この目で見る」ことがかなわぬ状況で、統計の活用は（マイクロソフトのビル・ゲイツがそうだったように／例えば電気料金の詳細データから、照明がついている＝それぞれの事務室が使用されているのべ時間を割り出し、各セクションの仕事の進捗具合や、人材の過不足を知った）、しゃぶりつくすまで徹底的に活用された。 でなければ、統治は不可能だった。 そのロシアとサルデーニャが組み、フランス、オスマン帝国およびイギリスを中心とした同盟軍と戦った。 戦闘地域はドナウ川周辺、クリミア半島、さらにはカムチャツカ半
なぜ、東大、京大の入試に「統計」の問題は出ないのか？
東京大学医学部卒(生物統計学専攻)。東京大学大学院医学系研究科医療コミュニケーション学分野助教、大学病院医療情報ネットワーク研究センター副センター長、ダナファーバー/ハーバードがん研究センター客員研究員を経て、現在はデータを活用する様々なプロジェクトにおいて調査、分析、システム開発および人材育成に従事する。著書に『統計学が最強の学問である』(ダイヤモンド社)、『1億人のための統計解析』(日経BP社)などがある。 『統計学が最強の学問である［実践編］』発刊記念対談 35万部を突破したベストセラー『統計学が最強の学問である』の続編、『統計学が最強の学問である［実践編］』の出版を記念し、著者・西内啓氏をホストに統計学をめぐるシリーズ対談の連載がスタートします。 ゲストは前統計学会会長、気鋭の経済学者、統計学者など。普段は知ることのできない統計学者の斬新な視点と意見をお楽しみください。 バックナン
大学の授業料を払うために最賃で働いた場合の必要労働時間の推移を大雑把に計算してみる - 情報の海の漂流者
60歳のおっさんが大学時代の学費は物価も考慮すると現在の8万円です。月に7千円稼いだと自慢してるのです。 というツイートを読み、学費を払うのにバイトしなきゃいけない時間ってどれ位変化したんだろう？と気になったのでイメージを掴むため大雑把に計算してみた。 （今回はざっくりと理解することが目的なのであまり検算やミスチェックをしてない。恐らくどこかにミス有り） 社会でお偉いポストについてる人が「俺らの頃は大学の授業料なんか自分で稼いだもんだ」と言い出したときのためのグラフを置いときますね。60歳のおっさんが大学時代の学費は物価も考慮すると現在の8万円です。月に7千円稼いだと自慢してるのです。 pic.twitter.com/mPa5KGhEsU— 中迎 聡（今日も明日も18歳） (@nakamukae) 2014, 10月 16 結果は最低賃金の高い東京都の場合でこんな感じ。 1975年から20
御嶽山 ４７人全員の死亡確認 戦後最悪 NHKニュース
警察によりますと、御嶽山の噴火で心肺停止の状態で見つかり、ふもとに搬送された４８人全員の死亡が確認されました。 火山災害としては戦後最悪となりました。 御嶽山の噴火で自衛隊や警察消防は、１日朝から１０００人余りの態勢で、山頂や登山道での捜索を再開しました。 そして１日午前、山頂南側の八丁ダルミ付近で新たに７人が、その後、山頂付近で５人が、いずれも心肺停止の状態で見つかりました。 このほか、ふもとに搬送された人のうち、新たに１３人の死亡が確認されました。 そして、ふもとに搬送された４８人全員の死亡が確認されました。 戦後最悪の火山災害に 国内の火山活動による被害としては、死者と行方不明者が４３人に上った２３年前、平成３年６月の長崎県の雲仙普賢岳の火砕流を上回り、火山災害としては戦後最悪の被害となりました。
また「再犯者率」か！ - rna fragments
梅太郎さんところで草薙厚子とかいうジャーナリスト(?)がまた「再犯者率」を「再犯率」と勘違いして不安を煽っていることを知る。 17年の少年の凶悪事件の再犯率は61％となんとも高いということを大人たちは忘れてはいけないでしょう。 [草薙厚子の“のほほん”事件簿：親殺しより引用] それは、再犯者率だということをジャーナリスト草薙厚子たちは忘れてはいけないでしょう。 ちなみに「凶悪事件の再犯者率」と言っても、その前科は凶悪事件とは限らない事や、17年の大人も含めた全体の再犯者率は約56％で、全体の再犯者率と少年のソレはあんまし代わらないということもジャーナリスト草薙厚子たちは忘れてはいけないでしょう。 [犯罪][再犯率] 親殺し (山咲梅太郎「日記みたいなモノ。」) 書式は一部改変 61% は「再犯者率」 「再犯率は61%」の元データはこれですね? 平成17年の犯罪(警察庁) 第４ 少年犯罪 -
理系なんてみんな×× 主観で物を言う
主観で物を言う 誤解を恐れずに言うならば、主観に頼ってものを言うのは実に楽しいことである。客観性をひとまず横において、不十分なデータから断定的な主張を繰り広げ、偏見や思い込みをものともせず、勝手なことを無責任に語る。「×国人はみんな××」とか「女ってやつはみんな△△」というようなあれであり、個人的に知っている×国人がたった二人だったり、半生にわたって付き合った女性が三人きりだったりする場合、偏見度が特に高くなっていると言えるだろう。サンプル数から言えば「Ｏ型の人はみんな」のほうがまだマシかもしれない。 長年の教育の結果、こういうのが「悪いこと」だということはどうやら一般常識となっていると思われるので、それでも残っているのは何らかの理由があると考えられる。考えてみれば私だって「科学の研究者というものは」とか「三歳くらいの男の子というのは」と語ってみたい欲求はある。確かにある。この後の例なんて
600年の時を超えた憎悪 - himaginary’s diary
「憎悪の地理学：戦間期のドイツの反ユダヤ主義は中世のユダヤ人大量虐殺に如何に影響されたか」と題された記事がvoxeuに掲載されていた（原題は「The geography of hate: How anti-Semitism in interwar Germany was influenced by the medieval mass murder of Jews」）。 その記事の内容は以下の表に集約される。 1349年の ユダヤ人迫害 1920年代の ユダヤ人迫害 なし あり 合計 なし 78 (98.7%) 196 (91.6%) 274 (93.5%) あり 1 (1.3%) 18 (8.4%) 19 (6.5%) 合計 79 214 293 即ち、1920年代にユダヤ人への迫害が行われた19の町のうち、18は14世紀にユダヤ人への迫害（黒死病の原因との疑いを掛けて虐殺）が記録された町
世界で最もお茶を消費している国はどこか？ということをランキングしてみるとこうなる
お茶はただの水分補給としてだけでなく、くつろぎや団欒のお供としても親しまれていますが、世界におけるお茶の消費量をまとめたのがトリップアドバイザーによるインフォグラフィック「世界のお茶消費量」。消費量が最多なのはアラブ首長国連邦で、年間6.24kgの茶葉を消費。これは年間消費量が0.99kgである日本の約6倍になる計算で、1回分を茶葉5gと換算すると、1年に1200回お茶を入れているという計算になります。このほか消費上位には中東諸国やヨーロッパが並び、世界で一番紅茶を飲むとされているイギリスはお茶の消費全体で見ると6位、日本は17位で、お茶の生産地として有名な中国もこのランキングでは25位となりました。 世界のお茶消費量 トリップアドバイザーのインフォグラフィックスで世界の旅が見える http://tg.tripadvisor.jp/tea/ ・1位～5位 ◆1位：アラブ首長国連邦 6.24
確率・統計学の哲学 （文献メモ） - 社会学徒の研究（？）日誌
ブルデューが対応分析（コレスポンデンス分析）を用いる背景には、彼の認識論的・社会学的な思想があります。最近、ブルデューから離れて確率・統計学の哲学を考えてみる必要性を感じているので、ここに文献をメモしておきます。おすすめの文献が他にありましたら、ご教示下さい。 Philosophy of Probability: Contemporary Readings [asin:0415483875:detail]Probability: A Philosophical Introduction [asin:0415282519:detail]Philosophical Introduction To Probability (Csli Lecture Notes)Philosophical Introduction To Probability (Csli Lecture Notes)作者: Ma
マルチ・スズキを襲った中流インド人労組
日本の自動車メーカー、スズキの子会社マルチ・スズキの工場で先週、従業員による暴動が発生。インド人幹部１人が死亡し、日本人幹部を含む少なくとも40人以上が負傷した。インドで過激さを増している労使対立を象徴するような今回の事件は、対外的なインドのイメージを損ないかねない。政府は火消しに躍起になっている。 地元紙ヒンドゥスタン・タイムズは「政治問題と無関係とはいえ、この事件は投資先としてのインドの評判を落とすものだ」という匿名の政府高官の発言を紹介。「政府は労働法や企業統治を含む様々な問題に取り組んでいく」 インディアン・エクスプレス紙も、インドの労働問題は「国家的な課題だ」と指摘した。「インドでは強力な労働組合運動が発展してきたが、正規ビジネスの足を引っ張り、対インド投資を減らすような不当かつ暴力的な活動に対する法的な予防措置は不十分だ」 同紙は近年勃発した類似の暴動５件を例に挙げ、「諸外国は
社会保障の「気前良さ」は政府支出の大きさでは測れない - 社会学者の研究メモ
政府は増大する社会保障支出を背景に、いよいよ増税に向けた調整を本格化させている。他方でアカデミズムにおける社会保障論（福祉国家論）をみると、日本は基本的に社会保障に関して低い水準にあるということがたいていの議論の出発点となっており、現在の政府の政策展開とアカデミズムのあいだには奇妙なズレがあることが分かる。 このズレはいかにして生じているのだろうか？ ある国の社会保障の手厚さを測る指標としてしばしば社会保障支出のGDP比が用いられる。また、日本政府はしばしば国民負担率という指標を用いる。しかし、たとえば年金支出は高齢化率にしたがって上昇するので、「年金支出の規模が大きいから社会保障が充実している」ということにはならない。失業率と失業手当の関係も同じで、失業率が高ければ失業手当支出も増えるが、かといって雇用関連支出が「充実している」というわけではない。 図は2007年のOECD諸国の社会支出
ミクの歌って覚える統計入門
VOCALOID 初音ミクの歌のパワーで、統計の基礎を楽しく学んじゃおう。 もうつまらない教科書はいらない！
メール会議／利用分野別の漢字の使用頻度表
JISの漢字の使用の統計 利用分野別の漢字の使用頻度数 漢字表（作成年月） 1 IBM 2245漢字印刷装置文字セット一覧表（47.4）／6,792字 2 情報処理学会漢字コード委員会標準コード用漢字表試案（46.10）／6,086字 3 明治生命保険相互会社漢字コード表（46.6）／5,355字 4 大蔵省主計局収容文字表（48.8現在）／4,276字 5 富士通標準文字表（45.3）／4,271字 6 大蔵省印刷局常用文字の調査（37.1～41.12）／4,009字 7 全日本漢字配列協議会全国統一新配列による常用漢字目録（43.7）／4,003字 8 国立国会図書館収容漢字表（48.8現在）／3,956字 9 林四郎、小林信子“語彙調査四種の使用度による漢字のグループ分け” （46.9）／3,915字 10 森岡健二“漢字の層別”（49.1出版）／3,624字 11
SYNODOS JOURNAL : 拝啓、「社会保障審議会」どの ――〈政策〉の決定過程は、可視化せよ！ 敬具 大野更紗
2011/11/2111:0 拝啓、「社会保障審議会」どの ――〈政策〉の決定過程は、可視化せよ！ 敬具 大野更紗 現在、民主党政権が2011年6月30日に決定した「社会保障・税一体改革成案」にもとづいて、異様なハイペースで社会保障に関する政策が協議されている。社会保障に関する政策立案は、医療や介護、わたしたちの生活に密接にかかわる、とても重要な事だ。 しかし、そもそも「社会保障・税一体改革成案」が与党内で閣議報告されたこと自体、マスメディアで扱われる機会は少なかった。 ■「審議会」は踊る、されどついてゆけず 「審議会」にもさまざまな種類がある。たとえば、社会保障関連の政策立案の中身を実質的に決定している「社会保障審議会」という会議がそのひとつだ。これは厚生労働大臣の諮問機関であり、おもに「部会」と「分科会」で構成されている。社会保障審議会をはじめとして、とにかく毎日、異様なハイペースで「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう
