固有ベクトル、主成分分析、共分散、エントロピー入門 | POSTD
(2015/11/19、記事を修正いたしました。) 目次 線形変換 主成分分析（PCA） 共分散行列 基底変換 エントロピーと情報の取得 とにかくコードが欲しい方へ その他の参考資料 本稿は固有ベクトルと行列との関係性について、平易な言葉で、数学にあまり詳しくなくても分かるように書いてみました。この発想に基づいて、PCA、共分散、情報エントロピーについても説明します。 固有ベクトルは英語で「eigenvector」ですが、この eigen はドイツ語で、「そのものだけが持つ」という意味です。例えばドイツ語の「mein eigenes Auto」は、「ほかならぬ私が持つ車」というニュアンスです。このようにeinenは、2つのものの間に存在する特別な関係性を意味します。独特、特徴的、その性質を端的に示すものということです。この車、このベクトルは、私だけのもので、他の誰のものでもありません。 線
続 掃き出し法
掃き出し法の続き 掃き出し法の続きです。前回は拡大係数行列の点線の左側の正方行列を単位行列にして連立方程式を解きました。 しかし、常に左側の行列を単位行列に出来るとは限りません。このようなときにはどうやって解けばよいのかを解説します。 階段行列 行列を行基本変形していったとき単位行列に出来ない例としては、まず、行列の行と列の数が一致しないときがあります。例えば のような2行3列の行列は単位行列に出来ません。 また、たとえ行と列の数が一致していても単位行列に出来ない場合があります。それはある行の全ての成分が0になってしまうときです。例えば は3次正方行列ですが、単位行列には出来ません。 しかし、単位行列に出来なくても、すべての行列は階段行列という行列の形に変形することが出来ます。階段行列とは のように0でない成分が階段状にならんでいる行列をいいます。 ただし、階段の段が一度に増えていいのは一
掃き出し法
掃き出し法は、連立方程式を解くための効率の良いアルゴリズムです。解が存在するかどうか、そして解が存在する場合、解空間がどのような集合かが簡単な操作を繰り返すことによって分かってしまいます。 まず、簡単な例を用いて掃き出し法を解説します。 3元一次連立方程式 を掃き出し法によって解きます。 まず、連立方程式の係数を抜き取って以下のような行列を作ります。 これを拡大係数行列といいます。 この拡大係数行列に行基本変形と呼ばれる変形を繰り返し施すことによって点線の左側の正方行列を単位行列にします。 →行基本変形→ 変形後に得られた行列の点線の右側に現れたベクトルがずばり求める連立方程式の解です！ すなわち、今回の場合は が解です。 行基本変形 掃き出し法の概要は分かっていただけたと思いますので、ここで肝心の行基本変形について解説します。 行基本変形とは以下の3つの変形のことをいいます。 ２つの行を
ベクトルと行列
最終更新日：2004年4月1日 第1章へ webmaster@snap-tck.com Copyleft (C) 2000 SNAP(Sugimoto Norio Art Production)
【数学】固有値・固有ベクトルとは何かを可視化してみる - Qiita
線形代数に固有値という概念が出てきます。最初はイメージしにくいのでは、と思うのですが重要な概念かつ、統計学でも頻繁に利用されるので、これもこの可視化シリーズとしてアニメーショングラフを書いて説明することを試みたいと思います。 このようなグラフの意味を読み解いていきます。 1.固有値・固有ベクトルとは？ まず、固有値・固有ベクトルとはなんぞや。数式で表すと下記のことです。 ${\bf x}\neq {\bf 0}$の${\bf x}$で、行列Aをかけると、長さが$\lambda$倍になるような${\bf x}$の事を固有ベクトル, $\lambda$を固有値と言います。 知らない人は？？？で、これだけではよくわからないですね。 早速、グラフィカルな説明も交えて説明していきたいと思います。 2.行列Aによる線形変換 固有値・固有ベクトルの説明の前に、行列による線形変換について取り上げます。 例
対角化とは
次正方行列 が与えられたときに、ある正則な行列 を用いて を対角行列にすることを対角化といいます。 表現行列 の立場から説明すると、対角化とは有限次元のベクトル空間を として、線形写像 が与えられたときに の基底をうまく取ることによって線形写像 の表現行列を対角行列にすることです。 ※ ここで線形写像 の定義域と値域が同じになっていることに注意してください。このような線形写像は自己準同型写像と呼ばれます。定義域と値域の次元が等しいので表現行列は正方行列になります。 対角化のモチベーション 対角化のモチベーションは、線形写像 が与えられたときにベクトル空間 を と直和分解し、 の制限写像 と に写像を分解して考えることです。こうすることで高次元のベクトル空間 の間の線形写像がより次元の小さなベクトル空間の間の線形写像に還元され、線形写像が扱いやすくなります。 とすると の表現行列は 次正方行
基底変換、固有値・固有ベクトル、そしてその先
2015/05/22 「第3回プログラマのための数学勉強会」にて発表。 http://maths4pg.connpass.com/event/14367/
[PDF]線形代数学まとめ３ 行列の固有値・固有ベクトル
( II, 3, 2002 ) 3 1 • n × n A ∗) λ ∈ R, x ∈ Rn Ax = λx, x = \ 0 (Eq-1) λ A x λ A †) • ΦA(x) := |xIn − A| = xn + . . . A ΦA(x) xn n 1 λ A ⇐⇒ ΦA(λ) = 0. n ΦA(x) = 0 ‡) • λ (λIn − A)x = 0 (Eq-2) 0 A = 0 6 3 −2 7 2 0 0 3 ΦA(x) = |xI3 − A| = � � � � � � � � x −6 −3 2 x − 7 −2 0 0 x − 3 � � � � � � � � = . . . ( ) · · · = (x − 4)(x − 3)2 4 3 x = 3 (3I3 − A)x = 0 3I3 − A = 3 −6 −3
固有ベクトルが直交するのは - 小人さんの妄想
線形変換において、固有ベクトルが直交するのは、その線形変換を表す行列が対称行列（複素数ならエルミート行列）となっていたときである。 これは線形代数の肝だと思うのですが、なぜそうなるのか、直感的なイメージを思い描くのは簡単ではありません。 そこで、２ｘ２の実対称行列に限定して、固有ベクトルが直交するイメージを描いてみました。 まずは線形代数の復習から。 平面上に描いた図形の、拡大、縮小、回転、反転、平行四辺形への変形は、２ｘ２の行列で表すことができます。（ただし、図形の平行移動は扱わないことにします） 平面図形の変形とは、要するに方眼紙上の１個の正方形を、どのような形にもってくるか、ということです。 この図は、正方形の横を表すベクトル(1,0)を(a,c)に、縦を表すベクトル(0,1)を(b,d)に変形した様子です。 このように a, b, c, d ４つの数字でもって、正方形がどのように形
固有値、固有ベクトル、対角化...何のため？
私は文系出身の32歳会社員です。 ふとしたきっかけで数学を学び直そうかなと 独学で最近始めました。 そこで... 本当に素朴で基本的な疑問で恐縮なのですが... (1)何のために固有値を求めるのでしょうか？ (2)何のために固有ベクトルを求めるのでしょうか？ (3)何のために行列の対角化を行うのでしょうか？ 回答は歴史的背景、学術的背景、感情...etc、なんでも結構です。 例) ・特定の法則で計算すると固有値が求められるので求めた。 ・固有ベクトルは縦に並べてベクトルとしてみた方がすっきりするから「数列」ではなく「ベクトル」と呼んでみた。 ・意味はない！目的はない！ただ数学として突き詰めているだけだ！ ...などなど あっ、でも急を要している訳ではないので もしご存知の方、もしくは自論をお持ちの方は お時間のある方はご回答いただければ幸いです。 ちなみにテキストは共立出版の『やさしく学べ
因子分析の固有値・固有ベクトルって何？ - 小人さんの妄想
おかげさまで、「統計データをすぐに分析できる本」が発売されました。 統計データをすぐに分析できる本――社長から「コレを分析して」と言われても困らない! 作者: 中西達夫出版社/メーカー: アニモ出版発売日: 2013/12/13メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る こうして形になると、素直に嬉しいです ヾ(´∀｀)ﾉ♪ この本を作るにあたって、幾つかの原稿はページの都合上ボツとなっています。 その中の１つに、「因子分析の固有値・固有ベクトルって何？」というものがあります。 固有値・固有ベクトルというものは統計入門の鬼門で、まともに始めるとドップリ数学に浸らないといけません。 何とか簡単なイメージだけでも伝えられないかと思って用意したのが、以下の説明です。 本に載せられなかったので、おまけとしてここに公開しておきます。 - 主成分分析・因子分析をひもとくと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[PDF対角化と固有値｜図解でわかる線形代数
http://www.cc.miyazaki-u.ac.jp/yazaki/teaching/la/la-2003-diagonalization.pdf
[PDF]固有値の概念の教授法 ─経営学科に適した線型代数の教授法─