データセットの本質的な性質を踏まえないデータ分析には、大抵何の意味もない - 渋谷駅前で働くデータサイエンティストのブログ

前回のブログ記事は、論文紹介という地味なテーマだったにしてはだいぶ話題を呼んだ*1ようで、個人的にはちょっと意外な感があったのでした。確かに、今をときめくTransformerにも苦手なものがあるという指摘は、NN一強の現代にあってはセンセーショナルなものと受け止められても不思議はなかったかと思います。 しかし、それは同時に「データセットが持つ本質的な性質」と「データ分析手法の性質」とのミスマッチと、それが引き起こす問題とについてこれまであまり関心を持ってこなかった人が多いということなのかもしれません。そして、そのミスマッチは冗談でなく古来からある程度定まった類型があり、データ分析業界の古参なら「そんなの常識だよ」というものばかりだったりします。 ところが、最近僕の周囲でもそういうミスマッチが深刻な実問題を招いているケースが散見され、思ったよりもそれは常識ではないのかな？と思わされることが

[wxitizi]

この世界、素朴に回帰してみました→それには〇〇という問題がある→それを克服する手法を開発しました→その上でも△△という問題がある→今度はそれも克服する手法を開発しました→...の繰り返しだよね。

[graynora]

データ分析職（意思決定はしないが影響を与えた気になれる）の人がそこに安住して経営層を目指さないのが意外と根本原因な気がする。

[nakag0711]

説明変数が過去の自分自身のみとする典型的な時系列モデルは、自分自身の影響しか受けないと仮定していることになる。でも例えば株価は株価の値動き自身からも影響されるけどそういうテクニカル要因だけではない

[hoxo_m]

コントロールになら何してもいいと思われちゃうの、うちだけじゃなかったんだな・・

[indenkun]

“「分析は始める前から既に成否が決まっている」わけで、是非読者の皆様におかれましては分析を始める前のデータセットの準備（場合によってはデータセットの「発生源」の適正化）から注力していただければ”

[shunkeen]

“コントロール群にだけ何もマーケティング施策をやらないのは重大な機会損失なので現場の判断で勝手にいくつか違う施策を打った”／機会損失がいつまでも定量的に判断されず、勘と経験と度胸が優先される悲しみ。

[sugawara1991]

分析の精度を上げる為だけに取るべき時期に販促施策をまったく取らないで売り上げ増に手をこまねくセクションまたは期間を作るという経営判断が誰に出来るのかという話では？

[meddle2002]

この界隈リスクを取りたくないけど意思決定に介入したいエリートアホの巣窟ですよね。データ分析を前提とした会社でサービス提供してみりゃあいい。

[shodai]

“他にも個々のサンプルが店舗だったりすると「各店舗の方針で勝手に実験計画と無関係にキャンペーンを展開していた」なんてこともあったりします。”

[peketamin]

"定められた実験計画が守られないケースが少なくない/割と頻繁に聞くのが「コントロール群にだけ何もマーケティング施策をやらないのは重大な機会損失なので現場の判断で勝手にいくつか違う施策を打った」みたいな"

[jusuke]

“普段から多重共線性が生じないようにバランス良く上手く施策をばらけさせて実施する”

[kazuya030]

“MMMのような分析を行うためにはそもそも論として先述したように「普段から多重共線性が生じないようにバランス良く上手く施策をばらけさせて実施する」ようにしていなければならないのです” 目的と手段逆じゃない