DASL | Data and Story Library
Welcome to the Data and Story Library, an archive of hundreds of datafiles for use by students and teachers of statistics and data science. We host data on a wide variety of topics to provide real-world examples. We recognize that data are not just numbers; data require a context. DASL provides background information about the data and a source reference whenever that information is available. Tha
ニコラス・ケイジの映画が増えるとプールで溺死する人も増えるのか？
「首つり自殺数」と「アメリカの科学・宇宙・テクノロジーに関する支出」や、「水泳プールでの溺死数」と「ニコラス・ケイジの映画出演数」、「アメリカ人1人あたりのチーズ消費量」と「ベッドシーツに絡まって死亡する数」など、一見まったく関係のない2つのことがらの中にも相関性が見つかることがあります。しかし、だからといって2つの事柄の間にもちろん因果関係はナシ。これらの相関性がこれまでどのように間違った科学的結論を導いてきたのか、YouTubeでわかりやすいムービーが公開されています。 This ≠ That - YouTube 1年間にプールで溺死する人の数と、ニコラス・ケイジの映画がリリースされる数には、66.6％の相関性が認められています。 また、アメリカ・メーン州の離婚率と、1人あたりのマーガリン消費率の間にも99.26％の相関性があります。 さらに、科学や宇宙技術に対して費やされるお金と自殺
行政の統計資料のような非構造化データをGPTで構造化データに変換する｜mah_lab / 西見 公宏
今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP
「当社なら必ず有意差を出せます！」 臨床試験を絶対クリアさせるサービスが登場し物議 意図を聞いた
「オルトメディコのノウハウを駆使すれば必ず有意差を出せます！」──そんなプレスリリースが3月7日に公開され、臨床試験を実施する意義と認証制度の信頼性を損なうのではとTwitter上で物議を醸している。 プレスリリースを出したのは臨床試験の受託事業を展開しているオルトメディコ（東京都文京区）。「ヒト臨床試験有意差保証プラン」の内容は特定保健用食品や機能性表示食品などの臨床試験において必ず有意差を出すというもの。同様のサービスは業界初としている。 プランの対象になるのは食品の「体脂肪を減らす機能」「中性脂肪を抑える機能」「コレステロール値を改善する機能」「尿酸値を下げる機能」「健康な肝臓の機能を維持する機能」の5種類。オプションとして論文執筆代行や、機能性表示食品の届出代行サービスも提供する。 臨床試験においては適切な実験計画や得られたデータの分析を基に、健康に与える効果を証明する必要がある。
再現性の科学： 脳科学は実世界で役に立つか
サロンLHS（2023.1.27） 再現性の科学： 脳科学は実世界で役に立つか 神谷之康（京都大学 情報学研究科） 以下のスライドを編集し、新しいコンテンツを追加しました： https://speakerdeck.com/ykamit/shi-yan-detajie-xi-zai-ru-men-lun-wen-wo-hueikuniyusu-nisinaitameni
“ひきこもり” 初の大規模調査 見えてきたものは | NHK
人口およそ70万の東京・江戸川区がひきこもりの可能性がある15歳以上のおよそ25万人を対象に初めて大規模な調査を行いました。 その結果、14歳以下の不登校の子どもなどと合わせ、区内に9000人余りのひきこもりの人がいて40代が最も多く、女性が男性よりも多いことなどがわかりました。 専門家は「潜在化したひきこもりが行政につながったという点で、新たなひきこもり支援の在り方としても注目される」としています。 区民70万人の76人に1人がひきこもり 江戸川区の調査は、およそ70万の区民のうち、14歳以下は不登校の情報が把握できているとして除き、15歳以上の区民のうち、給与収入で課税がない人や介護や障害など行政サービスを利用していない人がひきこもりの可能性があるとしておよそ18万世帯の24万6000人余りを対象に去年、初めて行い、8日その結果を発表しました。 調査は用紙を郵送する形で行われ、回答がな
統計的仮説検定における効果量の概念と必要サンプルサイズの算出｜Dentsu Digital Tech Blog
この記事について電通デジタルでデータサイエンティストをしている中嶋です。今回の記事では統計的仮説検定における検出力や効果量の概念及び、それらを考慮した事前のサンプルサイズ設計について説明します。読者層としては、既に統計的仮説検定の基本的な使い方を理解している方を主な対象としていますが、そうでない方にもわかるように最初に簡単な復習をします。 統計的仮説検定について 概要 統計的仮説検定（以下、仮説検定）とは、性質の異なるグループ間で平均や分散など各グループを代表するような数値を比較する際に、その差が偶然生じたものか、そうでなく何かしら必然性がありそうかを検証するための統計手法です。例えば比較分析したい2つの群（ex. ユーザーグループ）があった時にある指標（ex. 各群の年齢の平均値）を比較して、統計的に偶然ではないレベルで差異が生じているかを判定したいときに仮説検定を使うことができます。
日本財団「18歳意識調査」第20回 テーマ：「国や社会に対する意識」（9カ国調査） | 日本財団
日本財団「18歳意識調査」第20回 テーマ：「国や社会に対する意識」（9カ国調査）国や社会に対する意識 各国1,000人に聞く 日本の若者の数字の低さ際立つ 日本財団は2019年9月下旬から10月上旬にかけた20回目の「18歳意識調査」で、インド、インドネシア、韓国、ベトナム、中国、イギリス、アメリカ、ドイツと日本の17～19歳各1,000人を対象に国や社会に対する意識を聞きました。 この結果、「自分を大人」、「責任ある社会の一員」と考える日本の若者は約30～40％と他国の3分の1から半数近くにとどまり、「将来の夢を持っている」、「国に解決したい社会課題がある」との回答も他国に比べ30％近く低い数字となっています。さらに「自分で国や社会を変えられると思う」人は5人に1人、残る8カ国で最も低い韓国の半数以下にとどまり、国の将来像に関しても「良くなる」という答えはトップの中国（96.2％）の1
今起きている革命、「因果革命」とは - Qiita
みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記
｢45歳以上の学力は世界一｣日本の詰め込み教育はむしろ海外で高く評価されている 無理に新しい教育をする必要はない
日本の教育レベルの高さを研究するアメリカ では、何が日本の子どもたちの高い学力の主因なのか？ 非常に面白い問いですが、残念ながら、日本の教育研究者はこの問いを十分に検討していません。彼らは概ね、日本の教育をダメだという前提で研究をしているので、日本の教育のうまくいっている部分を見ようとしません。 ですから、「日本の子どもたちは、なぜ学力が高いのか？」という問い自体を思いつくことがないのです。日本の教育研究者も、最近ピザなどのデータをだんだんと使うようになってきてはいますが、日本の教育がダメだと言うために、様々あるデータを恣意的に選択して使っているように見える場合すらあります。 ただ、海外の研究者の中には、日本の高い学力の原因を真摯しんしに調べている人もいます。例えば、アメリカの教育研究者のジェームス・スティグラーがそうです。 彼は、日本の小中学校とアメリカの小中学校を丹念に比較する研究をし
｢ゆとり教育で子供がバカになった｣という考えは完全に間違っている 日本の学力は約20年間ずっと優秀
ゆとり教育は失敗だったのか。国立台湾大学准教授の小松光氏と京都大学大学院准教授のジェルミー・ラプリー氏は「ゆとり教育で日本の学生の学力は低下していない。学力水準はこの20年間ほとんど変わらず、高水準を維持している。データを見極め、思い付きで教育政策をいじらないことが重要だ」という――。 日本の教育水準はアメリカよりも圧倒的に高い さて、それでは学力の国際比較に入りましょう。ここで使うデータはピザ（PISA）のものではありません。もう1つの大きな調査であるTIMMS（ティムズ）のものです。ティムズの正式名称は「国際数学・理科教育動向調査」といいます。 ピザと同じように、世界の子どもたちの学力を国際的に比較するための調査ですが、いくつか違いがあります。一番大事な違いは、測る学力のタイプです。ティムズは「学校で習った内容をきちんと覚えていて使えるか」を測っています。 一方で、ピザは「学校で習った
おまえはもうRのグラフの日本語表示に悩まない (各OS対応) - ill-identified diary
2021/9/10 追記: 改めて更新された話を統合して整理して書き直しました. 以降はこちらを参考にしてください: ill-identified.hatenablog.com 2021/1/15 追記: RStudio 1.4 がリリースされたのでなるべくアップデートしましょう 2020/12/06 追記: Japan.R で今回の話の要約+新情報を『Mac でも Windows でも, PNG でも PDF でもRのグラフに好きなフォントで日本語を表示したい (2020年最終版)/Display-CJK-Font-in-Any-Gpraphic-Device-and-Platform-2020 - Speaker Deck』として発表した. ハイライトは「近々出るRStudio 1.4 があれば fontregisterer はほぼいらなくなる」 2020/10/31 追記: geom
政府統計の総合窓口(e-Stat)のAPIを使ってみよう - Qiita
e-Statでは政府が提供する様々な統計データをXMLやJSONで取得するAPIを使用できます。 APIの利用登録と動作テスト １．下記のURLからAPIの利用申請をします。 http://www.e-stat.go.jp/api/regist-login/ ２．APIを登録申請が完了すると「メールアドレス」と「パスワード」でログインが可能になります。 ３．ログイン後、再度ログイン画面に行くと「利用者情報変更／削除」と「アプリケーションIDの取得」がおこなえる画面が表示されます。 利用者情報変更では、登録時に指定したデータを変更することができます。 ４．appIDの発行を行う。 「アプリケーションIDの取得」画面で名称とURLを入力して、「発行」ボタンを押すとappIDが取得できます。 urlは存在しない場合は「http://localhost/」等を入力してください。 appIDは3個ま
大学間コンソーシアム | 東京大学 数理・情報教育研究センター
数理・データサイエンス・AI教育強化拠点コンソーシアム MIセンターは、2022年度政府予算に盛り込まれた「数理・データサイエンス・AI教育の全国展開の推進」事業の東京大学における実施主体です。 同事業で選定された29大学（拠点校11大学、特定分野校18大学）のコンソーシアムの幹事校として、大学、産業界、研究機関等と幅広くネットワークを形成し、地域や分野における先進的教育モデルの拠点として、数理・データサイエンス・AIの実践的教育の全国普及に努めます。 同時に、この分野を牽引できる国際競争力のある人材および産学で活躍できるトップクラスのエキスパート人材の育成を目指します。 [コンソーシアムホームページ] 数理・データサイエンス・AIの活用事例動画 本動画集は数理・データサイエンス・AIリテラシーレベル教材の導入となるような活用事例を収集したものです。数理・データサイエンス・AIリテラシーレ
高校レベルの数学から大学の教養数学くらいまでを独学/学び直した - razokulover publog
去年の12月頃から数学の学び直しを始めた。 職業柄少し専門的な、特に機械学習の方面の書籍などに手を出し始めると数式からは逃れられなかったりする。とはいえ元々自分は高校時代は文系で数学1A2Bまでしか履修していない。そのせいか少し数学へ苦手意識があり「図でわかるOO」とか「数学無しでもわかるOO」のような直感的に理解出来る解説に逃げることが多かった。実務上はそれで問題ないにしてもこのまま厳密な理解から逃げているのも良くないなと感じたのでもう少し先の数学に取り掛かることにした。 巷には数学の学び直しについての記事が既にたくさんある。それに自分の場合は何かの受験に成功した！とか難関の資格を取得した！というような華々しい結末を迎えている状態ではない。そんな中で自分が何か書いて誰の役にたつかもわからないが、少なくとも自分と似たようなバックグランドを持つ人には意味のある内容になるかもしれないので、どの
解説記事
Software sketcher: 写真を線画に変換する R パッケージ 講義資料 Rによる統計入門 研究トピック 無意識を実験する方法：連続フラッシュ抑制（CFS）研究のレビュー 美と芸術の進化について チュートリアル lab.js HTML と CSSの基本 lab.js でインフォームドコンセントとデモグラフィックスの画面を作る lab.js で画像の評定実験を作る方法（および回答入力方法の工夫） lab.js の Likert scale で選択肢の数を偶数にする方法 lab.js のデフォルト CSS を書き換えて見た目をいい感じに調整する lab.js の出力データについて lab.js Tips集 画像処理 Rによる画像処理と心理計量 画像処理と心理学 imagerパッケージの使い方 画像の輝度を調整する ヒストグラムマッチングによる画像の平均輝度とコントラストの調整 空間
心理統計学の授業で教材に使えるオープンデータ集
はじめに 統計学の講義や実習の際に使える心理系のデータセットをまとめました。アヤメの分類や経済統計もいいですが、やはり心理学に関連したデータを使う方が心理系の学生には興味をもって統計を学べると思います。ここには私が授業でよく使っているものをリストしました。他に良いものがあれば教えて下さい。 Open Stats Lab https://sites.trinity.edu/osl Psychological Science 誌に掲載された論文のデータが公開されています。データだけでなく、論文の概要や実習の手引きなども揃っています。回帰分析や因子分析など統計手法ごとに分類されているので、教材を選ぶ際にとても便利です。 datarium パッケージ https://rpkgs.datanovia.com/datarium/ R のパッケージです。パッケージをインストールすればすぐ使えるようになる
日清「どん兵衛 釜たま風うどん」の圧倒的社内プレゼン資料公開 小学生の落書きみたいな屁理屈ゴリ押しが満載
日清食品が5月28日から「どん兵衛 釜たま風うどん」の販売を開始したことを記念して、同商品の社内プレゼン資料を公開しました。「新商品への圧倒的逆風を見事に跳ね除けた」「発売決定をつかみ取ったビジネスマン必見の“すごいプレゼン”資料」とのことなのでワクワクしながら見てみたところ……なんやこれ！ 小学生の自由帳やん！ これが「どん兵衛 釜たま風うどん」 そしてこれがプレゼン資料 1ページ目はプレゼンタイトルである「本場香川の釜玉うどんに対するどん兵衛釜たま風うどんの戦力調査」と書かれているだけなのですが、なぜか全部文字が手書き。左上の日清食品のロゴとどん兵衛のロゴも手書き。なぜ。右上には赤字で「圧倒的極秘」とやっぱり手書きで書かれています。公開しとるやん。 そして最も目を引くのが、右下に描かれた釜から手足が生えた、絶妙にかわいくないキャラクター。見ていると不安になってくるやつ。 2ページ目は概
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
総務省｜報道資料｜統計表における機械判読可能なデータの表記方法の統一ルールの策定
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h30/pdf/30honpen.pdf