クラスター分類は自由自在?: 分科会 (第12, 19回) 資料にみる数値操作 - remcat: 研究資料集
要旨 「飲食店でのクラスターが多い」という議論の論拠となっている新型コロナウイルス感染症対策分科会第19回会議 (12月23日) 資料のグラフが不審であり、数値が操作されている疑いがある。第12回会議 (10月23日) の資料と比較した結果、クラスター分類の恣意的な変更によって「飲食店」クラスター数を増やし、他のカテゴリーのクラスター数を減らしたものであると推測できる。 目次 緊急事態宣言に向けた分科会の提言 「飲食店」クラスターの状況分析 (12/23) 10月当時のデータ どこがちがうのか 議論 緊急事態宣言に向けた分科会の提言 1月5日、新型コロナウイルス感染症対策分科会は第20回会議を持ち回りで開き、「緊急事態宣言についての提言」を取りまとめた。 https://www.cas.go.jp/jp/seisaku/ful/yusikisyakaigi.html#3 から入手できる。「
WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza times
主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
食べログ3.8問題に終止符を打つ
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import json import glob import math from pathlib import Path from collections import Counter from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score from sklearn.metrics import confusion_matrix from sklearn.metrics import roc_auc_score from sklearn.model_selection imp
2017年衆議院議員選挙立候補者一覧 | 国会議員白書
2017年10月22日投開票の衆議院選挙の候補者の一覧です。国会在職経験のある候補には、国会での活動状況を整理した各ページへのリンクをつけています。候補者名、政党については朝日新聞ウェブサイトを参照しています。「公報」は各選管の公報掲載頁へのリンクです。 国会活動とデータの性質上、大臣等の政府役職就任者、幹事長等の政党重要役職就任者の各種数字は低くなるなど、データを見る際には気を付けたほうがよい注意事項があります。こちらをご参照ください。 なお、47期衆議院統計では2014年衆院選以降在職者の各国会活動の統計がデータとして一覧化されています。こちらもご利用ください。 （2017年10月20日更新）
インターネットでの国勢調査で東京が異様に低い理由を推測してみる【判明しました】
メルマガの質問でよくあるのが「地方でビジネスをしているのだが、地方はネットの普及率が低いので、云々」というやつだ。これは本当なのか、地方ではネットではユーザーにアプローチできないのか、それを考えるいい題材が来ました。それが今回のインターネットでの国勢調査です。 昨日、ピンポンとチャイムが鳴り、国勢調査のおばさんがやってきました。「インターネットでの回答がなかったお宅を訪問して用紙を配布しております」という。いや、仕事柄ネットで回答できるならそっちでしますよ。でもIDとか何もきてないよと思ってググってみた。なんか、こんなのが来るらしい・・・ こんな派手派手しいのが来ていたら気づくと思うんだが・・・記憶がない。Facebookで聞いたら、19人のうち４人が来てないって、こらなんだ? それはさておき、今回の国勢調査の都道府県別回答率について可視化してくれてた方がいたのが、そこには仰天する結果が・
A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT
本記事の編集方針 ※この記事に興味をもたれた方は、 A/Bテスト カテゴリーの記事一覧 - 廿TT も、必要に応じてご覧いただければと思います。 本記事はもともとは、「A/Bテストの数理」への批判：「有意」とはなにか の続き的なエントリでした。 しかし、予想外に反響があったため Request for Comments（ご意見求む）の精神で、随時更新している部分もあります。 ただし、ベースとなる主張、Web系施策のA/Bテストに、仮説検定は向かないという部分は変化していません。 もしぼくの考えが変わり、「やっぱ仮説検定、いいかも」となった場合、本記事の存在価値はほぼ消滅します。 そのようなことがあれば、ページ最上部に「考えが変わりました」と明記します。 また、他の修正箇所も区別して明記し、差分がわかるようにします。 ただし細かい言い回しや、誤字脱字等はだまって修正します。 目次： そもそも
非エンジニアにもオススメ。数学が苦手な統計初心者がR言語を触ってみる。
#################################### # CSVファイルの読み込み #################################### #Mac読み書きディレクトリを定義 basedata<-"/Users/saity/Dropbox/R/basedata/" output<-"/Users/saity/Dropbox/R/output/" #CSVファイルの読み込み crime<-read.csv(paste(basedata,"crime_prefecture.csv",sep=""), row.names=1) ソースコードを実行するには、カーソル行でcommand+enter(WinはCtrl+Enter)で実行ができます。 一度に複数行を実行する場合には、選択行で上記コマンドを叩きます。すると、メインコンソールに実行結果が表示されます。
「数式が苦手でも統計やりたいのでRで試す」は現実問題としてはアリだと思う - 渋谷駅前で働くデータサイエンティストのブログ
むしろ数式が苦手だけど統計を勉強したいという人はRをやるといいかもしれない - Line 1: Error: Invalid Blog('by Esehara' ) ものすごくブコメを集めてるので、読んでみました。で、結論から言うと「四の五の言う人はいるかもしれないけどデータ分析の世界への入り口としてはアリ」だと思った次第です。 ということを書くと、どこからともなく「ハァ？ちゃんとした原理も何も知らずにツールだけ使って分かった気になっても意味ないよ？」みたいなツッコミが飛んできそうな気がしますが。。。有体に書くと、確かにアカデミックの世界ではそうだと思います*1。けれども、ビジネスの現場ではこれも一つのチョイスだと言ってよいと思うのです。以下にその理由を挙げていきます。 「目の前の問題に統計学がどんな結果を返して見せてくれるのか」が分かることは、理解する上で最も手っ取り早い 世の中の人の多
携帯の人口カバー率改訂 「99%でも圏外」是正へ - 日本経済新聞
携帯電話サービスの利用可能なエリアの広さを示す指標「人口カバー率」の算出方式が変更される。総務省が新たな公式基準を導入することを決め、7月以降に新規割り当て予定の周波数帯に適用する。全国を約500メートル四方のマス目（メッシュ）に区切り、個々のメッシュごとに圏内か圏外かを判定する。従来方式より実際の電波の状態に近い人口カバー率を算出できるのが利点だ。携帯電話サービスをめぐっては、スマートフォン
政府統計の総合窓口 GL01010101
統計データを探す すべて 分野から探す国土・気象人口・世帯労働・賃金農林水産業鉱工業商業・サービス業企業・家計・経済住宅・土地・建設エネルギー・水運輸・観光情報通信・科学技術教育・文化・スポーツ・生活行財政司法・安全・環境社会保障・衛生国際その他 組織から探す 内閣官房人事院内閣府公正取引委員会警察庁消費者庁こども家庭庁総務省公害等調整委員会消防庁法務省外務省財務省国税庁文部科学省文化庁スポーツ庁厚生労働省中央労働委員会農林水産省林野庁水産庁経済産業省資源エネルギー庁特許庁中小企業庁国土交通省観光庁海上保安庁環境省防衛省 主要な統計から探す ５０音から探す あ い う え お か き く け こ さ し す せ そ た ち つ て と な に ぬ ね の は ひ ふ へ ほ ま み む め も や ゆ よ ら り る れ ろ わ すべて見る 分野から探す 国土・気象人口・世帯労働・賃金農林
総務省｜報道資料｜統計におけるオープンデータの高度化
総務省は、政府統計のポータルサイトであるe-Statなどで広く公開している政府統計データについて、より高度な利用を可能とする取組についてまとめました。 総務省統計局は、政府統計の中核的機関として、人口や事業所・企業、消費など国の基幹となる重要な統計を作成しております。データ提供の面においても、e-Statを通じ広く公開してきました。 （政府統計の総合窓口(e-Stat) http://www.e-stat.go.jp） 現在、政府全体でオープンデータへの取組を推進しているところですが、これらの取組をリードする総務省として、政府統計の情報提供のかたちを更に高度化すべく検討を行い、独立行政法人統計センターと協力し、トップランナーとして次のような取組を進めています。具体的には次の3つです。 (1)API機能による統計データの高度利用環境の構築 (2)統計GIS機能の強化 (3)オンデマンドによる
気象庁|過去の気象データ・ダウンロード
推奨ブラウザ : Microsoft Edge(最新版), Mozilla Firefox(最新版), Google Chrome(最新版) ご利用にあたっての注意事項 一回にリクエストできるデータ量には上限があります（コンテンツ右上棒グラフ参照）。 アクセス集中時や一回のデータ量が多い場合、繋がらないことやデータ取得に時間がかかることがあります。繋がらない場合は時間をおいて再度お試しください。 アクセス集中の原因となりますので、自動化ツール等による過度のアクセスはお控えいただくようお願いいたします。 新着情報 気象官署の移転及び風向風速計の移設に伴い、平年値の一部を更新しました。詳細は「2020年平年値の更新について」（PDF形式:381KB）をご覧ください。（2023.5.17） 更新履歴 データ修正のお知らせ 「四日市」（三重県）において、観測環境が悪化していたため、2016年10月
ABテストのための有意性検定 - Qiita
こんにちは、awakiaです。今回のアドベントカレンダー、結構、機械学習ガチなメンツが揃ったみたいなので、俺も対抗してやる！！とも思ったのですが、研究を離れて2年が経とうとしているので、真っ向勝負とか今更無理なことに気づきました...ｗ なので、開発者の皆も知っておくと便利なデータサイエンスの話をすることにします。 ABテストと検定の必要性 Webサービスを運営していると、見た目の問題だけでも結構悩みます。ボタンの色や文言などの小さなところから、トップページに盛り込む内容をどうするかまで、いろいろです。 今回、「ABテスト」と呼ぶものは、画面に占める大きさ等にかかわらず、パターンAとパターンBを作って、そのどちらがいいかを判断するための実験と定義することにします。 なお、ABテストの呼び名には結構流派があるので別の名前で聞いたことがあるかもしれません。例えば、Googleのマット・カッツ先
新清士さんが統計と情報とデータをごっちゃにして語ってる件で - やまもといちろうBLOG（ブログ）
例によって「言わんとすることは分かるが、それはまったく違うよ」という話を一つ。 ソシャゲへの反感はワインの方程式が生んだ反感と同じ －ゲームと心理学（2） http://www.famitsu.com/guc/blog/shin/12191.html 冒頭のワインの話は本当です。ただ、その後に続く、ソーシャルゲームの話はまったく間違いです。間違いというか、統計違いです。 新さんが例示しているDAUやKPI指標というのは、「現在、ユーザーがどういうアクセス状態にあるのか」という程度を示すただのユーザー動態データの総体であって、上記ビンテージワインで言うならば「値段」にあたるものです。 ビンテージワインの「値段」が分かるのは極当たり前のことであって、それが解析されたからといってゲーム業界の職人芸とはまったく関係ありません。せいぜい言えば、meta scoreを高く出したコンソールゲーム、あるい
ソシャゲへの反感はワインの方程式が生んだ反感と同じ ?ゲームと心理学（2） | 新清士の「デジタルと人が夢見る力」 - コミニー[Cominy] / ブログ
プロフィール 新清士 ジャーナリスト。立命館大学映像学部非常勤講師。1970年生まれ。慶應義塾大学商学部及び環境情報学部卒。著書に、『ゲーム産業の興亡』（アゴラブックス）。 2008年に、プリンストン大学の経済学者オーリー・アッシェンフェルターが発表した論文「ボルドーワインの質と価格を予想する（Predicting the Quality and Prices of Bordeaux Wines）」という論文は、ビンテージワインの専門家に対して、とどめを刺すとでもいえるような論文だ。 ビンテージワインは同じブドウ園で生産されたワインであっても、年によって出来不出来があるために、値段が変化する。品質によっては、10倍以上の差が生まれることがある。世界中にはワインコレクターがおり、将来にワインが成熟して評価が高まることで、値段が高くなることを見越して投機の対象として購入している人々もいる。 実
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
golaco.club - このウェブサイトは販売用です！ - golaco リソースおよび情報
人口減少地図：日本経済新聞
http://japan.internet.com/wmnews/20130902/1.html
[PDF]統計学入門 - 小波秀雄
はてなブログ | 無料ブログを作成しよう
