ABテストが難しい場合の施策効果の評価・推定方法
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でデータ分析による社内サービスの課題解決支援をしている関口です。 ヤフーではたくさんのABテスト（※1）が常に行われており、サービス改善に活かされています。しかしながら実際には、さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのようにして施策の効果を評価・推定するかについて、具体的なケースからアイデアを紹介していきます。 なお今回はYahoo!ショッピングを題材にしたケースばかりですが、アイデア自体は汎用的なものとなっています。 ※1： ABテストはウェブサービス上のUI改善、機械学習モデル改善、機能追加etc.といったさまざまな施策が、KPIにどれくらいのイン
風俗客とキャスト「性接触の全国ネットワーク」を可視化 口コミ9万件分析で見えた「世界の狭さ」 - 弁護士ドットコムニュース
誰と誰が性的な関係を持ったかという性接触のネットワークはHIVなどの感染症予防のために古くから研究されてきた。一方で、もっとも他人には知られたくないプライバシーに関わる内容ゆえに大々的な調査は不可能とされ、その実態は謎につつまれていた。 しかし2022年11月、静岡大学の守田智教授と長崎大学の伊東啓助教らのグループは、性風俗の口コミサイトに寄せられたレビューをもとに全国規模の「性接触ネットワーク」の構築に成功したと発表した。 その内容はどんなものなのか。守田教授と伊東助教が解説する。 「ネット上で公開されている風俗店のレビューはある人とある人が性的接触をした証拠なわけです。これを使ってネットワークを作れないかと考えました。レビューの中から女性キャストの名前と客のハンドルネームだけを抜き出して、誰と誰がつながっているのかというのを収集しました。 例えばAさんが静岡のお店で働くaさんに対して口
基幹統計「農業集落調査」廃止方針に研究者たちが猛反発する理由 「ミクロデータの扇の要」：東京新聞 TOKYO Web
5年に1度、農林水産省が実施する国の基幹統計「農林業センサス」の一部で、60年以上の歴史がある「農業集落調査」の存廃がいま、議論になっている。次回2025年について、農水省が「実施が困難」だとして廃止の方針を示したところ、研究者らが猛反発。継続を求める署名は1000人を超えた。一方で、基幹統計は、相次ぐ不正で信頼性が低下。統計にかかわる職員の減少も進む。国の政策立案を支える重要統計は、大きな変革を迫られている。（特別報道部・山田祐一郎）
独身男性の平均資産額が急に「500万円」も増えた理由｜玉坂
統計やっている人からするとなんら特別な話でもないのかもしれませんが。知人がこんなことを言っていたんですよね。 ワシントン州の独身男性の平均資産が急に500万円ほど増えたと。 なぜだかピンときますかね。 ・コロナの影響 ・お金持ちの独身男性が一気にワシントン州に増えた ・独身男性の定義が変わった ・急激なインフレによる報酬の増加 他にもあるかもしれませんが、抽象度の大小あれど色々原因の仮説は浮かびます。 が、 上記はどれもはずれです。 正解は何だと思います？ 答え：ビルゲイツが離婚したから ビルゲイツの資産額はググった数字ですが、14兆円とのことです。 離婚したので、その数字が平均値を一気に押し上げたと。 一つの突出した数値がある場合、平均値を見るだけでは状況を把握しづらいって良い例です。こういう場合は中央値を見る必要があると。 中学、高校の先生なんかが嬉々として引用しそうなエピソードですね
「時系列分析」にはグーグルやフェイスブックが考案した最新手法がお薦め
ビジネスでデータサイエンスを活用するシーンとして、過去データを使って将来を予測するタイプの問題がある。商品販売数や店舗売上高など、折れ線グラフを使って表現するようなデータ（時系列データ）に基づいた時系列分析だ。過去の販売データに基づいて翌月の発注量を決めたり、3年後など中長期の計画を策定したりするのに使う。今回は、この時系列分析に活用しやすい3つのアルゴリズムを見ていこう。 Prophet
因果推論とグラフ理論 - エクサウィザーズ Engineer Blog
こんにちは。数理最適化ギルドでエンジニアをしている加藤です。 ある自社プロダクトの開発を通じて因果推論について勉強する機会がありました。因果推論は統計の分野ですが、その中で数理最適化の技術が使えることを知り、とても面白かったのでその内容をシェアしようと思います。具体的には組合せ最適化問題のひとつである最小カット問題が、因果推論のタスクの一部である識別可能性に利用できるという話をします。 前半は因果推論についての概説で特に予備知識は仮定していないです。後半は計算時間やネットワークフローなどのアルゴリズムを知っていると読みやすいと思います。 因果推論とは 因果推論の目的 統計的因果推論とは事象の間の因果効果を実験データや観測データから推定することを目的とした統計学の一分野です。単に因果推論といった場合は統計的因果推論を含むより広い概念を指すことがありますが、簡単のため以下では因果推論といえば統
総務省、きょうから「社会人のためのデータサイエンス入門」を無料開講 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
「計91％が緊急避妊薬の薬局販売に反対」→実際は42％だった。産婦人科医会が調査結果について謝罪
Search, watch, and cook every single Tasty recipe and video ever - all in one place! News, Politics, Culture, Life, Entertainment, and more. Stories that matter to you. 「計91％が緊急避妊薬の薬局販売に反対」→実際は42％だった。産婦人科医会が調査結果について謝罪緊急避妊薬の市販薬化をめぐり、日本産婦人科医会が厚生労働省に提出した資料がが「調査結果が歪曲されている」と批判を浴びた問題で、同会が謝罪した。当初の資料では「産婦人科医の91％が反対」と結論づけていたが、反対と回答した割合は42％だと訂正した。
家に本が多いほうがテストの正答率高い？ 文科省調査
文部科学省が全国の小中学生を対象に「家庭の蔵書数」を初めて調査したところ、25冊以下が3割を占めた一方、蔵書数が多いほうがテストの正答率が高くなる傾向が明らかになりました。 文部科学省はことし5月、全国の小学6年生と中学3年生の200万人以上を対象に「全国学力テスト」を実施し、家庭の経済的、文化的な資本をはかる指標の1つとして、国際的な調査でも用いられる「家庭の蔵書数」を初めて調べました。 その結果、家にある本の数が、 ▽0～10冊と答えたのは小学生で11％、中学生で14％ ▽11～25冊が小学生で19％、中学生で20％で 25冊以下と答えた子どもが3割を占めました。 ▽26～100冊が小学生で34％、中学生で32％ ▽101～500冊が小学生で32％、中学生で30％ ▽501冊以上が小中学生とも5％でした。 学力テストの正答率をみると、小学校の算数では、蔵書数が最も多い子と最も少ない子で
交通量調査の仕事ってなんでなくならないの？
※反響が大きかったんで追記した 最近うちの近所で道端にベンチ置いてカウンターをガチャガチャしてる人をよく見かけるんですわ。 あー、交通量調査かーって思って眺めていてふと気がついた。 なんで令和のこの時代に手動の交通量調査の仕事が残ってるの？と。 だって、カメラ一台設置しておいて画像認識で済ませればリアルタイムでデータ取れるし、人力で集計する意味ないよね？ 俺も学生時代にアルバイトでやったことあるんだけど、一見単純そうに見えるこの仕事、実はカウンターを10個くらい渡されて軽自動車、トラック、タクシーとかいうふうに、車の種類に合わせて台数カウントする必要があって結構しんどい。 で、手動でカシャカシャ押すから交通量の多い幹線道路なんかでは見逃しも多かった。誤差を減らすために何人かで重複カウントしてるんだけど、ぶっちゃけデータの精度なんてあってないようなもんだと思ってる。 なんていうか、機械で置き
拝啓 コロナに関わるみなさまへ
溜まった思いを書き散らしました。 拝啓 すべてのみなさまへワクチンを打って安心するのは、まだ早いです さすがに1回目の接種の翌日からマスクを外して動き回るような人はいないと思いますが、効果が十分あらわれるとされる2回目の接種から2週間経ってもなお、安心しないでほしいという話をします。あなた自身の重症化の確率は小さくなりますが、あなたが感染しなくなるわけではありませんし、あなたを経由して周りの人に感染させる可能性は十分に残っています。特にデルタ株に対しては、ワクチン接種後に他人との接触機会を2倍にしたら、あなたが打ったせっかくのファイザー製ワクチンの効果も、あなたが疑問視している中国製のワクチンを打ったのと変わらないレベルになってしまいます。まして、接触機会を5倍にしたら、ワクチンを打っていないのと同じです。周りの人のことを思いやれるなら、羽を伸ばすのは周りの人も含めてワクチンが行き渡ってか
全国民に配るべき！総務省が示した「データ入力の統一ルール」｜Excel医ブログ
2020年12月、総務省より 【機械判読可能なデータの表記方法の統一ルール】が策定されました。 統計表における機械判読可能なデータの表記方法の統一ルールの策定 https://www.soumu.go.jp/menu_news/s-news/01toukatsu01_02000186.html 2020年11月に河野太郎 行政改革担当大臣のツイートが話題となりました。 その後正式に統一ルールが公開された形です。 各省庁がネット上で公開する統計を機械判読可能にするために、データの表記方法を統一させます。「政府統計の総合窓口（e-Stat）」で本日から１２月１日までの間、表記方法案に関する意見照会を行います。研究者をはじめ、皆様のご意見をお待ちしています。https://t.co/h07tCTDazc — 河野太郎 (@konotarogomame) November 25, 2020
コロナ感染させた人 マスクなし９６．４％ 金沢市調査（北國新聞社） - Yahoo!ニュース
新型コロナウイルス陽性者を対象にした金沢市の調査で、濃厚接触者に感染させたとみられるケースでは、96・4％がマスクをせずに会話していたことが11日、分かった。対象の感染者84人のうち、81人がマスクを着けていなかった。市はマスクの感染予防効果は大きいとみて、まん延防止等重点措置が解除される14日以降もマスク着用の徹底を呼び掛ける。 金沢市は、福井県がコロナ対策として打ち出した「福井モデル」を参考に調べた。4月1日～5月19日の陽性者664人から無作為抽出した200人のうち、濃厚接触者に感染させたのは84人。その中でマスクをしないで会話していた81人が計148人に感染させたとみられる。 一方、マスクを付けて会話して感染させたのは3人。市によると、この3人についても意識せずに外した瞬間があったり、マスクの着け方に不備があったりした可能性があるという。 福井モデルは徹底した積極的疫学調査とPCR
亀井亜紀子(立憲民主党・前衆議院議員） on Twitter: "政府は突然、今週から病床使用率の算定方法を変え、これまで入院先が決まった人も算入していたのを入院中の人だけにすると発表。これによりステージ4の道府県は先週の20から11に減るとのこと。感染を小さく見せかけてまでオリンピックを強行し… https://t.co/eG8iDIlWVY"
政府は突然、今週から病床使用率の算定方法を変え、これまで入院先が決まった人も算入していたのを入院中の人だけにすると発表。これによりステージ4の道府県は先週の20から11に減るとのこと。感染を小さく見せかけてまでオリンピックを強行し… https://t.co/eG8iDIlWVY
ねぇ都民、自粛してる？ 緊張を測るバロメーター #わかるコロナ
(5月16日追記) 東京の最後の週のデータに誤りがあり、 0.88 → 0.76 に修正しました。ある意味で一番重要な数字だっただけに、たいへん申し訳ないです。本文については、見直しましたが修正の必要はありませんでした。 (5月17日追記) 都が公開した最新のデータを反映して、微修正ですがさらに数字を更新しました。最新週のデータは N501Y変異株の実数推計まとめ からご確認ください。 新規感染者が、前の週と比べてどれだけ増えたのか、または、減ったのか。これを実効再生産数といいますが、ひらたく言えば、前週比です。前週よりも増えていれば 1 を上回り、減っていれば 1 を下回る。そしてこれは、ほぼそのまま、わたしたちがどれだけ緊張し自粛しているか、またはその逆に、活動し気が緩んでいるかを反映しています。 ただし、単純な前週比には注意が必要で、わたしたちの行動がまったく同じでも、N501Y変異
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サッカー本田圭佑「日本の治安、どんどん悪くなってる気がする」 → データが集まる → 「メディアに踊らされてた」
データ分析の初心者はExcelを使い、中級者はR, Python, SAS, SPSSなどを使い、上級者は「Excel」に戻っていく「Excelに始まりExcelに終わる」
新型コロナ致死率の低さで日本がＯＥＣＤ首位、基本はやはりマスクか
「毎勤統計より悪質だ」 20年以上続いた国交省不正 統計不正、再びの衝撃（1） - 日本経済新聞
https://twitter.com/poyothon/status/1454097121791991808
