分散共分散行列 - 大人になってからの再学習
まずは復習。 分散とは「各データが平均値からどれだけ離れているか」という、データの散らばり具合を表す。 具体的には、分散は「（各データの平均値からの距離）の２乗の平均」。 分散は2乗であることに注意。単位をそろえるために、分散の平方根を取ったものが標準偏差。 標準偏差をσで表すと、分散はσ^2で表される。 式で表すと次のようになる。 ここで、次のようなベクトルを導入する。（なぜ？ あとで値を複数持つデータに拡張するのに便利だから） すると、さきほどの分散の式は、次のような縦ベクトルと横ベクトルの積の形で書くことができる。 （’は転置を表す） これまでの話で、たとえば、数学のテストの点数がどれくら散らばっているか、ということを知ることができる。 ここで、英語のテストも行った場合、数学と英語の点数の関係を知りたい、という場合には、複数のデータ群を扱う必要がある。 例えば、生徒の「数学の点数」と
反復法による多変数の最適化問題（制約なし）の簡易まとめ - 大人になってからの再学習
反復法については複数のアプローチがあるけど、わかりやすくまとめたものがあまり無いなぁ、と思って検索していたら、 次の東工大の卒業論文が簡潔でわかりやすかった。 ■「無制約非線形最適化問題に対するアルゴリズムの比較」 http://www.is.titech.ac.jp/~kojima/lab/thesis/2007/0211889.pdf 反復法による解法は、「探索ベクトル」の決定方法と「ステップ幅」の決定方法で大きくわけることができる。 ■探索方向ベクトルの決定 最急降下法 目的関数の勾配ベクトルの逆方向に探索方向ベクトルを取る。実装が簡単。収束が遅い。 ニュートン法 目的関数を局所的に2次近似して、探索方向ベクトルを決める。少ない反復回数で収束する。探索方向を決めるためにヘッセ行列の計算が必要。ヘッセ行列が正定値であることが前提。 レーベンバーグ・マーカート法（修正ニュートン法） ヘッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
