タグ

統計に関するisrcのブックマーク (16)

  • 「貧しい家の子の成績下げる」アルゴリズムの波紋 イギリスで起きた衝撃、責任は誰にあるのか(東洋経済オンライン) - Yahoo!ファイナンス

    昨今、AI(人工知能)の急激な発達が注目されている。まるで人間のように自然な会話ができるサービス「ChatGPT」が話題になったのも記憶に新しい。一方で、こうしたAIやアルゴリズム(問題解決や目標達成のための計算・処理手続き)に意志決定や判断を委ねることへの危惧も広まりつつある。イギリスでは実際に、アルゴリズムに大学入学資格の判定を任せた結果、とてつもない混乱が生じてしまったという「苦い経験」があるのだ。私たちはどのようにAIやアルゴリズムと共存していけばよいのだろうか。統計学者のジョージナ・スタージ氏が上梓した書籍『ヤバい統計』から一部を抜粋して紹介する。 ■予測よりも低い成績がつけられた アルゴリズムをつくりだすのは、アルゴリズム自体ではなく人間だ。ということは、人間はそのアルゴリズムが行ったことに対する責任がある。 2020年8月13日、「Aレベル」の結果が発表されると、多くの生徒が

    「貧しい家の子の成績下げる」アルゴリズムの波紋 イギリスで起きた衝撃、責任は誰にあるのか(東洋経済オンライン) - Yahoo!ファイナンス
    isrc
    isrc 2024/03/20
    アルゴリズムは、成績インフレを抑えることと成績分布グラフの形状を維持することを最優先した/進学実績の低い学校や、貧しい地域に対するバイアスがかかったのは当然。その位置に留めておくアルゴリズムだったのだ
  • 「年収700万円」の人が住んでいるところ データを分析して分かってきた

    厚生労働省が毎年行っている「国民生活基礎調査」によると、2021年、児童(18歳未満の未婚の者)のいる家庭の平均世帯年収は785万円。中央値は710万円で、およそ24%の世帯が1000万円を超えています。地域や家族構成によるので一概には言えませんが、全国的には30代で650万円、40代で800万円ぐらい稼いでいれば「上から数えたほうが早い」と言えるでしょう。 地域による違いはどうでしょうか。総務省統計局の「住宅・土地統計調査」では、都道府県や市区町村別の収入分布(※)が公表されています(図1)。 (※)「住宅・土地統計調査」では、18歳以上の子がいる家庭(例えば、高齢夫婦と無職の成人)もカウントされるため、「国民生活基礎調査」よりも年収の平均値や中央値が低く出る傾向があります。その代わりに、親、子、孫の 3世代が同居する家庭を除外できるため、一般的な「核家族」の暮らし向きがわかります。

    「年収700万円」の人が住んでいるところ データを分析して分かってきた
  • 【新卒研修資料】基礎統計学 / Basic of statistics

    株式会社ブレインパッドの2023年新卒研修資料です。基礎統計学について扱っています。

    【新卒研修資料】基礎統計学 / Basic of statistics
  • データ分析のための統計学入門.pdf

    isrc
    isrc 2021/04/07
  • Full article: Data Organization in Spreadsheets

  • 確率、データ処理 - 具体例で学ぶ数学

    中学数学 確率の意味と簡単な計算の例 サイコロを3つ投げたときのいろいろな確率 ゾロ目が出る確率についてのいろ

  • バニラのアイスを買ったときだけ車のエンジンがかからなくなる不思議な現象、その原因は?

    「目に見えて明らかなことが常に解決策であるとは限らず、どれだけ不思議に見えても事実は事実に過ぎない」ということに気づかされたとして、ウォータールー大学でコンピューターサイエンスを研究するスティーブン・マン教授が不思議なエピソードを紹介しています。 Car allergic to vanilla ice cream http://www.cgl.uwaterloo.ca/smann/IceCream/humor.html ある日、自動車メーカー・ゼネラルモーターズ(GM)のポンティアック開発部に以下のような内容の苦情が寄せられました。 「私がGMに苦情を書いたのはこれで2回目です。私にもおかしな話に思えるので、返事がなくても責めるつもりはありません。私たちの家族はいつも夕後のデザートにアイスクリームをべています。毎晩、事後に家族全員がどの種類のアイスクリームをべるべきかを投票し、私が

    バニラのアイスを買ったときだけ車のエンジンがかからなくなる不思議な現象、その原因は?
    isrc
    isrc 2020/05/11
    ヴェイパーロック現象は液体が加熱されて生じた泡によって液体の流れが悪くなってしまう現象。アイスを提供する時間に差が生まれたことが、このヴェイパーロック現象に差を生んでいたことがわかりました
  • 「p値や有意性に拘り過ぎるな、p < 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明 - 渋谷駅前で働くデータサイエンティストのブログ

    以前から同様の指摘は様々な分野から様々な人々が様々な形で出してきていましたが、アメリカ統計学会が以下のような明示的な声明をこの3月7日(現地時間)に発表したということで注目を集めているようです。 AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON STATISTICAL SIGNIFICANCE AND P-VALUES Provides Principles to Improve the Conduct and Interpretation of Quantitative Science https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf The ASA's statement on p-values: context, process, and p

    「p値や有意性に拘り過ぎるな、p < 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明 - 渋谷駅前で働くデータサイエンティストのブログ
  • 厚労省の官僚は無能か嘘つきか

    国会では統計不正問題をめぐって見当はずれの質疑が行われているが、「アベノミクス偽装」という類の陰謀論はすべて誤りだ。2018年1月からの毎月勤労統計のシステム更新は、統計的精度も安定性も上がる改善だった。このとき結果として賃金が「上振れ」したが、問題はそれより2017年まで賃金が「下振れ」していたことだ。 立憲民主党にアドバイスしている明石順平という弁護士は、上振れが「ベンチマーク更新」の影響だというが、システムを更新したら影響が出るのは当たり前だ。2018年の場合は経済センサスに合わせて大企業を増やし、サンプルを毎年1/3入れ替える「ローテーション・サンプリング」にしたが、それで数字が変わっても法的な問題は発生しない。 問題は賃金の変化のうち、統計法違反が原因になっている部分だ。2003年に調査計画を変更したとき総務省統計委員会の承認を受けなかったのは違法だから、予算案を修正して過去の給

    厚労省の官僚は無能か嘘つきか
    isrc
    isrc 2019/02/07
    普通なら、今回のミスは隠し通せた可能性が高い。一次データを見せない状況では、こういう事件は防げない。官庁の統計データを共有して総務省に一元化し、統計処理システムをオープンソースにしてはどうだろうか。
  • 統計不正問題はなぜ起こった?世界と比較すれば分かる「最大の元凶」(ドクターZ) @moneygendai

    統計職員2人で10万人を担当 厚労省の統計不正をきっかけに、霞が関の統計に対する信頼が揺らいでいる。 各省庁ではさまざまな統計調査を出しており、それぞれ職員を割いているが、その人数が少ないのではないか、と見る向きがある。現状はどうなっているのか。 政府内で統計問題が議論されたのは、2004年の小泉政権で示された「骨太方針」からだ。その当時の各省庁での統計職員数をみると、内閣府63人、警察庁6人、総務省590人、財務省85人、文科省20人、厚労省351人、農水省4674人、経産省343人、国交省75人、人事院24人、計6241人だった。農水省の統計職員が圧倒的に多く、各省で人数のばらつきがある。 その後、日の統計職員は大きく減少した。 '18年の各省庁の統計職員数は、内閣府92人、警察庁8人、総務省584人、財務省74人、文科省20人、厚労省233人、農水省613人、経産省245人、国交省

    統計不正問題はなぜ起こった?世界と比較すれば分かる「最大の元凶」(ドクターZ) @moneygendai
    isrc
    isrc 2019/02/05
    文系官僚が跋扈する霞が関では理系は出世できない。結果として、日本の統計業務は世界から見劣り/ビッグデータも活用される近年、海外の統計スペシャリストは高給取りであるが、日本の役所では低い扱い
  • 統計不正問題でフタをされてはならない「霞が関の病理」という本質論

    たなか・ひであき 1960年生まれ。1985年、東京工業大学大学院修了(工学修士)後、大蔵省(現財務省)入省。内閣府、外務省、オーストラリア国立大学、一橋大学などを経て、2012年4月から現職。ロンドン・スクール・オブ・エコノミクス修士、政策研究大学院大学博士。専門は予算・会計制度、公共政策・社会保障政策。著書に『財政規律と予算制度改革』(2011年・日評論社)、『日の財政』(2013年・中公新書) DOL特別レポート 内外の政治や経済、産業、社会問題に及ぶ幅広いテーマを斬新な視点で分析する、取材レポートおよび識者・専門家による特別寄稿。 バックナンバー一覧 厚労省の毎月勤労統計の不正問題が拡大している。これは霞が関の深部に横たわる病理に関係しており、問題の質を見極める必要がある Photo:PIXTA 昨年末に明るみに出た厚生労働省の毎月勤労統計の不正を巡って、2019年度政府予算

    統計不正問題でフタをされてはならない「霞が関の病理」という本質論
    isrc
    isrc 2019/02/05
    総務省が他の基幹統計について点検したところ、4割に当たる22統計で、データ処理の誤りなどずさんな取り扱いが判明/安倍政権は官邸主導で政策の内容が先に決まることが多いので、数字が後から整理される
  • 勤労統計不正問題はなぜ起きた?組織と人材の厄介な「病巣」

    昭和47年静岡県生まれ。静岡聖光学院高校卒業、国際基督教大学(ICU)教養学部卒業、慶應義塾大学大学院法学研究科修了(法学修士)。 総務省、株式会社三井物産戦略研究所、デロイトトーマツコンサルティング合同会社、みんなの党代表(当時)渡辺喜美衆議院議員政策担当秘書、外資系コンサルティング会社等を経て、政策コンサルタントとして独立、室伏政策研究室(「◯◯と政策をつなぐ研究室」)を設立し現在に至る。 政財官での実績を生かし、国会議員、地方議員の政策アドヴァイザーや民間企業・団体向けの政策の企画・立案、対政府渉外活動の支援、政治・政策関連のメディア活動等に従事。 DOL特別レポート 内外の政治や経済、産業、社会問題に及ぶ幅広いテーマを斬新な視点で分析する、取材レポートおよび識者・専門家による特別寄稿。 バックナンバー一覧 次々と問題が発覚し、世間を揺るがしている厚生労働省所管の毎月勤労統計調査の不

    勤労統計不正問題はなぜ起きた?組織と人材の厄介な「病巣」
    isrc
    isrc 2019/02/05
    全数調査とされているにもかかわらずサンプル抽出/平成16年から続けられてきた/システム改修まで行われた/基礎資料のうち平成16年から23年分が現存しない/総務大臣の承認の申請は行われなかった
  • 第4回会議資料 平成28年 会議結果- 経済財政諮問会議 - 内閣府

    議事次第 平成28年第4回経済財政諮問会議 開催日時:平成28年3月24日(木曜日)17時35分~18時15分 開催場所:官邸4階大会議室

    第4回会議資料 平成28年 会議結果- 経済財政諮問会議 - 内閣府
    isrc
    isrc 2019/02/05
    質の高い公的統計の整備に向けて/各府省の経済統計の改善に向けて/政府統計の精度維持・向上に向けた取組について/平成26年度統計法施行状況に関する審議結果報告書
  • 国立がん研究センター公表の「がん5年生存率データ」から年齢・進行度などの影響を取り除いたリアルなデータを作成した強者が現れる

    国立がん研究センターが2017年8月9日に全国188の病院を対象にした、がん患者の5年後生存率データを初めて公表しました。しかし、生存率データは単に各施設の生存率のみを表示しており、年齢や進行度(ステージ)などがんの5年後生存率に大きく関わる要素によって分類されていないため、単純な比較ができない状態でした。この不便を解消するために、統計モデリングを用いることで年齢やステージなどの影響を取り除いた調整済みデータをStatModelingさんが公開してます。 統計モデリングで癌の5年生存率データから良い病院を探す - StatModeling Memorandum http://statmodeling.hatenablog.com/entry/best-hospitals-for-cancers 国立がん研究センターが公開した、全国のがん診療連携拠点病院におけるがん患者の5年後生存率に関する

    国立がん研究センター公表の「がん5年生存率データ」から年齢・進行度などの影響を取り除いたリアルなデータを作成した強者が現れる
    isrc
    isrc 2018/02/02
    胃がん、大腸がん、肺がんではほとんどばらつきがなく、病院による差はほぼなし。他方で肝がん、乳がんはわずかに病院による差が見られます/胃がんは年齢の影響が大きい/乳がんでは進行度の影響が非常に大きい
  • 待ち合わせに遅れる彼女、ベイズの定理、そして例題 - MyEnigma

    図解・ベイズ統計「超」入門 (サイエンス・アイ新書)posted with カエレバ涌井 貞美 SBクリエイティブ 2017-09-14 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに ベイズの定理を理解するために必要な事前知識 同時確率 条件付き確率 乗法の定理 加法の定理 事前確率・事後確率・尤度 アナロジーによるベイズの法則 ベイズの法則の式 ベイズの法則の計算例1:モンティ・ホール問題 ベイズの法則の計算例2:がん検診の結果とガンである確率 ベイズの定理を利用した時系列データによる確率推定 ロボット工学では、なぜベイズ推定を使用するのか? データが少ない時でも分析が可能 時系列的なデータを扱える ベイズ統計学とは? わかりやすい参考文献 参考資料 MyEnigma Supporters はじめに 自律ロボットを研究する上で、 ベイズの法則は欠かす

    待ち合わせに遅れる彼女、ベイズの定理、そして例題 - MyEnigma
    isrc
    isrc 2015/06/23
  • 米国の防衛費は主要国の防衛費を合算したくらい大きいですが、それが何か?: 極東ブログ

    昨日、防衛省の予算要求が出され、3年連続増で、5兆545億円と過去最大となった。ふーん。 この数値を見ると大きいなあと思うかもしれないし、3年連続増も注目されるかもしれないが、社会保障や公共事業など内政の経費は76兆円弱なので、日という国で国家予算に軍事費が突出しているということでもない。このことは後でも触れる。 それはそれとして、ふーんという感じで受け止めていたのだが、この話題にBBCがぱくついていた。「日防衛省は過去最大の予算要求をする(Japan defence ministry makes largest-ever budget request)」(参照)というのだが、写真がいかにも安倍内閣が軍国主義志向といった印象を与えて、うひゃあと思った。BBCの日報道って通常けっこう質がいいのだけど、どうしてこうなっちゃうかなあという感じである。 幸い、内容はそれほど偏ってもいない。A

    米国の防衛費は主要国の防衛費を合算したくらい大きいですが、それが何か?: 極東ブログ
    isrc
    isrc 2014/08/31
    国連というのは、各国町内会という以上の意味はない。社交の場というか、合コンみたいなもの/国家規模からすれば、日本が当然長女なのに三女に収まっている/
  • 1