確率的勾配降下法のメリットについて考えてみた
機械学習初心者です。機械学習やディープラーニングでは、「確率的勾配降下法」というアルゴリズムがよく出てきますが、そのメリットがいまいちピンとこなかったので考えてみました。素人のポエムなのでトンチンカンなこと書いていると思います（そこそこ長いよ！）。 二次関数の最小値 全てはここから始まります。今回の確率的勾配降下法も、それのもととなった最急降下法も全てこれの応用です。 例：$ y=x^2-4x$ の最小値とそのときの$x$を求めなさい 参考：二次関数の最大値，最小値の2通りの求め方 数学的解法（１）～平方完成～ 高校数学でおなじみ（？）の平方完成をします。 $$y = (x^2-4x+4)-4 = (x-2)^2-4 $$ したがって、x=2のときに最小値-4です。簡単ですね。 しかし、次数や次元が増えていくと簡単に平方完成できなくなります。もう少し一般的に使える方法を考えます。 数学的解
線形回帰を最小二乗法で解く - 機械学習に詳しくなりたいブログ
これも機械学習の１つなんですね。統計学のものだと思っていました。 線形回帰とは何か まず回帰分析というのは、目的変数と説明変数の間の関係を求めること。との間にどのような関係があるか、つまりで表されるとき、はどのような関数になるか？を求めるもの。具体的な例で言えば、ある人の体重（これを説明変数：とします）が60kgだった場合、身長（これを目的変数：とします）は何cmか？みたいな感じですかね。もちろん何のヒントもなしじゃ予測しようがありませんから、複数のサンプルが与えられているわけですね。100人分の身長と体重のデータから関係式を求め、体重しかわからない人の身長を予測する、と。さて、回帰分析の中でも線形回帰とは、との関係が例えば のように表されるものを指すようです。で、係数をどう設定すればとの関係が最も適切になるか、を求めることが線形回帰の目標です。これ、いきなりとかになってて、全然線形じゃな
正則化項（罰金項）の意味 - 機械学習に詳しくなりたいブログ
最小二乗法による線形回帰において、訓練データ数に対して近似式の表現能力が高すぎると過学習が発生します。（参考：線形回帰を最小二乗法で解く） それに対し、係数が大きくなることに対してペナルティを与えることで過学習を防止する方法があります。（参考：正則化最小二乗法） 今回は、そのペナルティ（正則化項）を加えることの数学的な意味を確認したいと思います。 正則化最小二乗法で書いた通り、正則化項は で表されます。ここで、の制約条件において、二乗和誤差 の最小値を求める問題を考えます。とすると、制約条件および二乗和誤差は凸関数ですから、不等式制約におけるラグランジュの未定乗数法（KKT条件）より、 の条件の元で を解けば、解が求められます。*1 さて、式(6)においてはに依存しませんから、これをで偏微分してみると、二乗和誤差に正則化項を加えた をで偏微分するのと同じ式が得られます。今、正則化項において
正則化最小二乗法 - 機械学習に詳しくなりたいブログ
訓練データ数に対して多項式の次元数が大きすぎると、過学習が発生することを以前確認しました。（参考：線形回帰を最小二乗法で解く） 過学習が発生するとき、係数が大きな値をとる傾向があるようです。よって、係数を小さい値に制限することができれば過学習が抑止できるということになります。この考えに基づいた手法が正則化です。最小二乗法の解の導出の式(5)で示した二乗和誤差 に対して、係数が大きくなることに対してペナルティを与える正則化項（罰金項）を以下のように追加します。 が大きくなれば、そのぶん誤差関数も大きい値をとってしまうということですね。ここでは正則化係数で、解析者が任意に決定する値です。式(2)を最小化するを求めるには、最小二乗法の解の導出で導出したのと同様に展開してで微分します。すると以下の式が求められます。 導出の過程はほとんど同じなので省略します。僕はの変形がちょっと戸惑いました。（は行
Lassoの理論と実装 -スパースな解の推定アルゴリズム-
$$ \begin{aligned} \boldsymbol{S}_{\lambda}(\boldsymbol{\beta}) & = ||\boldsymbol{y}-\boldsymbol{X\beta}||^2 + \lambda||\boldsymbol{\beta}||_q \\\\ & = ||\boldsymbol{y}-\boldsymbol{X\beta}||^2 + \lambda \sum_{i=0}^{p}{|\beta_i|^q} \cdots (*) \\\\ \end{aligned} $$ となります． 確認ですが， $\boldsymbol{y}$：n次元の観測ベクトル $\boldsymbol{X}$：n×(p+1)次元の計画行列(design matrix) $\boldsymbol{\beta}$：(p+1)次元の回帰係数ベクトル (これを求めたい．
物理数学：線形独立とランク
行列式が 0 になるイメージ 行列の行列式が 0 になるのは,例えば 2 次元の場合には「二つの列をベクトルとして見たときに,それらが平行になっている場合」あるいは「それらのベクトルのどちらか一方でも零ベクトルである場合」とまとめてもいいだろう,多分. ところが 3 次元以上の場合を考えてみるとそれだけでは済まない気がする.例えば 3 次元で考えてみよう. 3 次の正方行列には 3 つの列ベクトルが含まれる.これら全てのベクトルが平行である場合には,これらが作る平行六面体は一本の直線にまで潰れてしまって,3 次元の全ての点が同一直線上に変換されることになる.（下の図ではわざと 3 つのベクトルを少しずらして描いてある.ベクトルを完全に重ねて描いてしまうと何の図か分からないので.） 一度こうなるともう元のようには戻せず,行列式は 0 である.ここまでは 2 次元の場合とそれほど変わらない話だ
線形代数のおはなし
線形代数とは -Introduction- 線形代数は線形写像という性質の良い写像を扱うための学問です。 この章では、線形代数の主役である線形写像とは何かを順を追って説明していきます。 線形代数とは 写像 もうちょっと写像 ベクトル空間 線形写像 行列とは 線形代数で突然現れる行列。あれはただの数が並んだものではありません！ 行列の意味を知ると線形代数がよりよくみえてきます。 行列 行列の意味を知りたい方はこちら！ 行列の各部の名称 行列の例 行列の和 行列の積 複雑な定義をされている行列の積。行列の積の謎に迫る！ 連立方程式 歴史的には、線形代数は連立方程式の考察から生まれてきました。ここでは、連立方程式について線形代数の立場から解説します。連立方程式について知ることは線形代数を知ることにつながります。 連立方程式 解空間 連立方程式の解全体の空間はどのような構造をしているかを解説します
コインで理解するベータ分布 - ふんわり R-tips
表と裏、投げるとどちらかの面が出るコインを例に、ベータ分布について説明します。 ベータ分布とは 確率変数 が、 をパラメータとする確率密度関数 を持つとき、 はベータ分布 に従う、と言います。 分母に出てきた はベータ関数で、ベータ分布を積分した結果が1になるために必要な正規化項です。 を与えられると、ベータ関数は定数値を返します。 ベータ分布の期待値は、 で計算されます。 ベータ関数とガンマ関数 ガンマ関数 は次の式で計算されます。 より、ガンマ関数のパラメータが正の整数の場合、となり階乗関数として扱うことができます。 ベータ分布の例 と の値を具体的に与えると、ベータ分布が一つに決まります。 の場合 より、 。一様分布となります。 a <- 1 b <- 1 x <- seq(0.01, 1.0, len = 500) plot(x, dbeta(x,a,b),type = "l",c
【Day-23】機械学習で使う"距離"や"空間"をまとめてみた - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 23日目。 ここまでデータをどういう風に処理したり、どういうタスクをこなしていくかについて勉強してきたが、 一度基礎的な事項に戻ってみたいと思う。基礎だから簡単というわけではない。基礎だからこそ難しく、また本質的な内容。 データ分析で使われている手法などをまとめて集約して、簡単な説明を付け加えていく。 しかし、このあたりの数学*1は苦手なので、なるべく直感的に自分のイメージを書いていく。 われわれが生きている空間や、距離は"正しい"のか ユークリッド空間/ユークリッド距離 点の距離 分布の距離 wasserstein計量 カーネル(再生核ヒルベルト空間) Topological Data Analysis(TDA) 次元削減/Embedding PCA(principal component analysis) t-SNE(t-Distributed
An Interactive Introduction to Fourier Transforms
Jez Swanson Fourier transforms are a tool used in a whole bunch of different things. This is an explanation of what a Fourier transform does, and some different ways it can be useful. And how you can make pretty things with it, like this thing: I'm going to explain how that animation works, and along the way explain Fourier transforms! By the end you should have a good idea about What a Fourier tr
Ordinary Differential Equations · DifferentialEquations.jl
This tutorial will introduce you to the functionality for solving ODEs. Other introductions can be found by checking out DiffEqTutorials.jl. Additionally, a video tutorial walks through this material. Example 1 : Solving Scalar EquationsIn this example we will solve the equation on the time interval $t\in[0,1]$ where $f(u,p,t)=αu$. We know by Calculus that the solution to this equation is $u(t)=u₀
機械学習の中身を理解する - Speaker Deck
2018年12月5日 リクルートスタッフィングのイベントでの資料です。 「機械学習のエッセンス」の解説がメインになっています。
- 理数アラカルト - 物理学や工学で現れる数学的手法を紹介
線形代数 ベクトル空間 ベクトル空間 線形独立と線形従属 基底・直交基底・正規直交基底・次元 部分空間 和空間・直和空間・補空間 線形写像 Kernel (核) と nullity (退化次数) 座標変換 行列の基礎 行列が等しいこと 行基本変形 行列の簡約化 行列式と余因子 行列式の定義 $2\times 2$ の行列式 $3\times 3$ の行列式 $4 \times 4$ の行列式 $5 \times 5$ の行列式 行列式の基本的な性質と公式 余因子展開 余因子行列 行列式=0 ⇔ 列が線形独立 逆行列 正則行列 $2\times 2$ の逆行列 $3\times 3$ の逆行列 $4\times 4$ の逆行列 掃き出し法による逆行列導出 連立一次方程式 掃き出し法で解く例題 クラメルの公式 連立一次方程式の一般的性質 連立一次方程式の計算機 同次連立一次方程式と自明な解 ラ
)
ほとんど (数学) - Wikipedia
数学において、ほとんど (almost) という語は、ある厳密な意味で用いられる専門用語のひとつである。主に「測度 0 の集合を除いて」という意味であるが、それ単体で用いることはあまりなく、「ほとんど至るところで (almost everywhere)」「ほとんど全ての (almost all)」などの決まり文句でひとつの意味を形成する。 ほとんど至るところで[編集] 測度空間において、ある性質 P を満たさない点の集合の測度が 0 である (正確には、ある測度0の集合にそれが含まれる) 場合、ほとんど至るところで（英: almost everywhere、略して a.e.、仏: presque partout、略して p.p.）P を満たす、という[1]。実数上で考えている場合は、通常ルベーグ測度を用いる。 使用例[編集] f をディリクレの関数とすると、ほとんど至るところで f(x)
関数の基底，関数の内積
しかし，これはあくまで「予想」なので，本当に三角関数が様々な関数の基底になっているのかは分かりません。 そんなわけで，またもや2次元ベクトルに頼ります。。。2次元ベクトルの exやeyは「基底」だと分かりきっているので， その性質から類推すれば何かヒントが見つかるかもしれません。 直交 基底ベクトルの ex や ey と内積を取れば，方向の成分だけが残るのでした。それでは，基底どうしの内積を取ったらどうなるのか？ ということを考えてみます。 ex と ey の内積は， 図から見てとれる通り ex と ey が「直交」しているのでゼロです。cos90°= 0 だから，という感じで。 内積がゼロというのは， 「ex と ey には共通の成分が無い」という重要な意味を持っています。 なんというか，もし ex と ey で “かぶっている”成分があったら，もっとスマートな別の基底が選ばれているはず
クォータニオン (Quaternion) を総整理！ ～ 三次元物体の回転と姿勢を鮮やかに扱う ～ - Qiita
0. はじめに: クォータニオンについて思うこと はじめまして！ NTTデータ数理システムで機械学習やアルゴリズムといった分野のリサーチャーをしている大槻 (通称、けんちょん) です。 本記事は、東京大学航空宇宙工学科／専攻 Advent Calendar 2018 の 3 日目の記事として書きました。僕は学部時代を工学部 航空宇宙工学科で過ごし、情報理工学系研究科 数理情報学専攻で修士取得後、現職に就いて数年になります。 航空宇宙時代は人工衛星の姿勢制御について関心を抱き、特に磁気センサや磁気トルカを用いた姿勢制御系について研究していました。数理工学へと分野を変えてからも、当時お世話になった先輩方と磁気トルカを用いた姿勢制御手法について共同研究して論文を書いたり、ディープラーニングなどを用いた画像認識技術を追求する過程ではリモートセンシングに関する話題ものぼったりなど、航空宇宙業界とは何
エルデシュ数 - Wikipedia
エルデシュ数（エルデシュすう、Erdős number）またはエルデシュ番号とは、数学者同士、あるいはもっと広く科学者同士の、共著論文による結び付きにおいて、ハンガリー出身の数学者ポール・エルデシュとどれだけ近いかを表す概念である。エルデシュに共著論文が非常に多いことから、その友人たちによって、敬意とユーモアを込めて考え出された。今日では科学者のコミュニティにおいてよく知られており、エルデシュと近いことが名誉であるかのように半ば冗談めいて語られる。 定義[編集] アリスはエルデシュと共著で論文を書き、ボブとも共著で論文を書いているとする。そして、ボブとエルデシュには直接の共著論文がないとする。ボブが共著論文をたどってエルデシュに行き着くためには2回のステップが必要であるため、ボブにはエルデシュ数2が与えられる。 ある者が新たにエルデシュ数を得るためには、すでにエルデシュ数が与えられている者
無限べき乗a^a^a^...の収束と発散との境目が気になる - アジマティクス
一般に、境目は大事です。どこまでが友人で、どこからが恋人なのか、とか。 この記事は「好きな証明」アドベントカレンダー1日目の記事です。 上記の式のことを考えます。今回はは正の実数とします。そのが無限に乗じられているわけです。一見面食らってしまう見た目をしていますが、という列の極限として捉えられる、と考えればそこまで異常な概念でもないと思います。あるいは、この式全体を「」とでも置けば与式はと閉じた見た目にできるので怖くないです。（※極限値があると仮定） さて、当然のこととして、に値を入れてみたときにこの式がどう振る舞うのか知りたくなるのが人情です。とりあえず試しにだとしてみましょう。これはすなわち「」のことなわけですが、これはまあ1を何回乗じても1なのでも1になると予想がつくでしょう。 今度はだとしてみます。という数列は、実際に計算するととなり、明らかに発散（いくらでも大きくなる）しそうな雰
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
重回帰モデルの理論と実装 -なぜ正則化が必要か-
ミクの歌って覚える統計入門