なぜ分散は２乗の和なのか - 小人さんの妄想

Ｑ．なぜ分散は、単純な差（偏差の絶対値）ではなく、差の２乗を計算するのか？ Ａ．分散を最も小さくする点が平均値だから。（単純な差を最も小さくする点は中央値となる。） “分散”というキーワードは統計学の基礎中の基礎であり、どんな教科書にも“平均”の次くらいに載っていることがらです。 しかしながら、いきなり登場する“分散”の意味が分からず、統計学の入り口で挫折する人は少なくありません。 偏差の２乗の平均、つまり、各値と平均との差の２乗の平均を分散といい、 分散の平方根の正の方を標準偏差という。 統計で、ちらばりを表すものとして、標準偏差や分散が多く用いられる。 -- 高校の教科書（啓林館）より. 教科書にはこのように書かれているのですが、これで分かった気になるでしょうか。 ・なぜ、差の２乗を計算するのか？ ・差そのものであってはいけないのか？ ・なぜ、分散と標準偏差の２種類があるのか？ 最後の

[ssids]

ごく単純にn次元空間のユークリッド距離だという認識でしたが > 二乗和の平方根

[cartman0]

マンハッタン距離とユークリッド距離だな

[uunfo]

計算しやすいからだよ。

[inductor]

平均との誤差を1次元で足し合わせたら0になるから2乗して、全部足すとばらつきの傾向がわかるよ！それを分散と呼ぶよ！平方根を取ると標準偏差（偏差値の原型）がとれるよ！という説明に疑問を感じたことがなかった。

[spritchang]

“最小２乗法とは、つまり「バネに溜まったエネルギーが最小となる位置を探す方法」” これを元になんでもかんでも近似してるだけで別に根拠も必然性もない、あえて言うならデタラメでもある

[remcat]

平均値は最小2乗解である→標準偏差と相性がいい、というところまでは授業でやるんだけどね

[dfk3]

Excelのソルバーで数値解にしたら最小N乗法が容易に解けるよ。Nは整数でなくてもよい。やはりNが大きいほどハズレデータの影響が大きい。で、結局はNはいくらが良いかってのが感覚の世界になってしまうんだがね。

[bull2]

一度読み返して冒頭の文で理解した。絶対値和を最小にする点は、算術平均じゃなくて中央値になっちゃう。算術平均を基準にして、散らばり具合を示した方が良いんじゃないか、ということね。

[tohshindainokawaisa]

これは最近考えていたんだけど、二項関係でも特に反射関係な場合に統計では分散、幾何では2乗ノルムという言葉として与えると、反射的でない場合との親和性が高いからではないかとは最近思った。あくまで感想だけど

[mozukuyummy]

最小二乗法がなぜ最小「二乗」法なのか、なぜ複数要因がノイズとして線形結合されている系ではL2ノルムの最小化が最尤推定とほぼ同じ結果をもたらすのか、このあたり考えていくと面白いよね。

[HHR]

“最小２乗法とは、つまり「バネに溜まったエネルギーが最小となる位置を探す方法」のことだったのです。”　ブコメも見る

[timetrain]

そこがわからなかったのが高校で躓いたところだったな。なぜそうなのかわからず、分散と標準偏差という言葉を使っていた

[nimi0370376]

定期的に読み返している

[lont_in]

最適化問題だから

[eidai]

なぜバネ？

[jmako]

統計的分散が正規分布になるからでしょ？そうでないものは残差の二乗和を使ってフィッティングするとおかしくなる。

[kiwi0120]

歴史までひもといている丁寧な解説、面白い。

[mayumayu_nimolove]

統計オタク向け

[natsutan]

ガウスの観測とか学生実験で最小二乗誤差が強いのは、誤差が正規分布に従う性質よりは、計算に使う人と観測者が同じなので異常値をその場で取り除けるのが大きいと気がついた。（実データのひどい異常値を見ながら）

[gnety]

正規分布と関連があるという点が強い

[Aobei]

Laplaceの絶対値回帰

[rikeijin_s]

説明の分かりやすさ抜群です。

[pavlocat]

素晴らしい

[kaputte]

これずっと思ってたやつだ。2乗すると情報量が見えるって言ってた人もいたけど理解を放置してたんだ。/ 途中のリンク先の最小二乗法（物理）みたいな割り箸をゴムで引っ張ってる写真が個人的に衝撃的で笑える。

[puhitaku]

最後のガウスの話は冒頭で出して、現実の物理にあてはめた解釈としてバネの例えがある、という流れの方が良さそう。

[taikidog]

二乗はエレルギー、ばね、フムフム

[hammam]

－を√してはいけないから

[jiro_kit]

バイアスとバリアンスが混同されてない？

[dekasasaki]

こういうの好き

[takuver4]

分かりやすい。

[kikikaikaikai]

歴史まで記載されててわかりやすい

[m_yanagisawa]

そういう解釈もあると思うが、そもそも偏差そのもの（偏差の１乗）の和だとゼロになってしまうからでは。偏差の絶対値は言及されていた。/ちなみに令和と聞いて真っ先に「零和」を思い出した。

[buenaarbol]

「正規分布のパラメータだから」「微分可能だから」とかの理由もあると思う。そしてこれらの利点が不要な人が平均偏差を使っていたとして非難されるいわれはない。

[h_taiji]

ちょっと後で読もう

[natu3kan]

四則演算と別に冪乗や冪根ってまた違う世界な感じあるよなあ。求めたい平均の純粋な距離を出したいけど、でも絶対値だと扱い面倒で二乗の方が整数なら絶対に正の値で返って来るし加工しやすいしなあ。

[l-_-ll]

２乗した値によってばらつきを数えたのが、分散という指標だったのです。

[kamenoseiji]

see also https://hyuki.hatenablog.com/entry/20121025/var

[andonut146]

勉強になりました。