ニューラルネットの積分表現理論――リッジレット変換とオラクルサンプリングによる3層パーセプトロンの学習の数値実験 - Qiita
概要 園田翔『深層ニューラルネットの積分表現理論』[3]という論文の中で「(浅い)ニューラルネットワークがしていることは 双対リッジレット変換 (の離散化)である」ということが解説されています． この論文では入力を一般の $m$ 次元にとり，活性化関数として ReLU やシグモイド関数を含む超関数のクラスに対して結果を与えています．が，そのぶんとても難しいです． 1 そういうわけで，本稿では上の論文で提案されている「オラクルサンプリング」という手法を 活性化関数として Gauss 核 $\eta(x) = \exp(-x^2/2)$ (急減少関数)を用い， $m = 1$ 次元の場合に限って 解説し，さらにその数値実験をしようと思います． (本稿を読む前に園田先生のスライド[2]に目を通しておくことをおすすめします．) 使ったもの Python 3.6.0 Chainer v3.1.0 O
機械学習をやる前に学んでおくべき最低の数学
機械学習を勉強する前に学んでおくべき最低の数学の範囲について、あれこれ議論されている*1。この手の議論、なかなか不毛である。ライブラリをブラックボックスとして使う分には、数学の知識はほぼ不要。中身を考えながら使うには、大学の学部の微分積分と線形代数と確率・統計の教科書をまずは頑張れと言う自明な話になるからだ。 1. ライブラリの利用に数学はほぼ要らない 本当にライブラリ利用者としては、数学の知識をほとんど要求されない。例えばSVMの分類器を構築するのに、プログラマが指定する必要があるのは、分類先と識別のための特徴量が入った学習データと、データの項目間の関係を説明する文、チューニングするのに使えるオプションが幾つかあるぐらいだ。オプションは経験的に精度が良くなるように選ぶ。これはランダムフォレストなどでも同じになる。 ディープラーニングのライブラリ、TensorFlowだと行列形式の乗算と加
測度論の「お気持ち」を最短で理解する - Qiita
# python f = lambda x: ### n = ### S = 0 for k in range(n): S += f(k/n) / n print(S) 簡単ですね． 長方形近似の極限としてのリーマン積分 リーマン積分は，こうした長方形近似の極限として求められます(厳密な定義ではありません4)． $$\int_0^1 f(x) \, dx \; = \; \lim_{n \to \infty} \frac{1}{n} \sum_{k=1}^{n} f\left(a_k\right) \;\;\left(\frac{k-1}{n}\le a_k \le \frac{k}{n}\right) .$$ この式はすぐ後に使います． リーマン積分できない関数 さて，リーマン積分を考えましたが，この考え方を用いて，区間 $[0,1]$ 上で定義される以下の関数 $1_\mathbb{Q
数学的バックグラウンドが無い人は理論を勉強しようと思っても厳しい - studylog/北の雲
という事を痛切に悟りました。無理・無茶です。2015に出たLSTMとかCNNの教科書的の段階ならば、自分みたいな人間でも頑張って青本読んでも何とか理解できました。でもそのレベルでは特に自然言語処理関係であまり実用的なモノは作れません。LSTMで言語モデル作って文章出力して「知性！(実際はワードサラダ)」とか言ってた牧歌的な時代はもうとうの昔に過ぎ去りました。数学的バックグラウンドが無いと最新論文見ても何がなんだかわかりません。論文を簡単に説明してくれているブログ記事を読んでも理解できなくなってきました。片手間では無理ですね。 理論を理解するのは諦めて、他の人の成果物(論文)を誰かがコード実装してくれてそれを使ってなんかやるっていう方向性に特化しないと全部中途半端になっちゃうでしょう。最低限CNNの畳み込み・フィルタとかDropoutとかそのレベルぐらいまでは理解しないと誰かが書いたコードす
異空間散歩！双曲空間を歩いてみよう。 - ぬぬろぐ
この記事は、scouty Advent Calendar の14日目です。 本記事には、線の束がウネウネ動くgif動画があります。人によっては気持ち悪いと感じるかもしれませんので、苦手な方はご注意ください。 双曲空間埋め込み - Poincaré Embedding 近年、機械学習界隈で双曲空間(Hyperbolic geometry) への埋め込み(Poincaré Embedding; Nickel & Kiela, 2017)1が流行っています。 双曲空間は、ユークリッド空間(普通のN次元空間)と異なり、原点から遠ざかるに連れて(正確な表現ではありませんが)急激に空間が拡がるという性質を持っています。このため、ユークリッド空間では不可能であった『木構造の埋め込み』が双曲空間においては可能となる2など、少ない次元でより複雑な構造を扱うことができる点が注目されています。 今年のICML
空間をめぐる旅 - Qiita
機械学習のための数学を学んでいて戸惑うもの、茫漠としてつかみどころがない、なのに至るところで重要な役割というかそもそも土台となっている概念に「空間」がある。しかも日常の言葉なので なんでこんなに沢山の種類の空間があるのか なにがどう違いがあるのか がさっぱり分からない。かつ、テキストを読んでも定義、定義のオンパレードでわけがわからない。ので、ほんの気持ちだけでも分かるようにまとめてみた。 手元の本でざっと拾っただけでもこれだけあり、ちょっとだけ学んだイメージと名前の響きから平易な概念→難解な概念順に並べてみた（独断と偏見） （素朴な）空間 ユークリッド空間 ベクトル空間 距離空間 内積空間 ノルム空間 位相空間 アフィン空間 ヒルベルト空間 共役空間 バナッハ空間 ハウスドルフ空間 …… これらをWebで探してみると * 北野坂備忘録：再生核ヒルベルト空間 * ベクトル空間、ノルム空間、内
機械学習をこれから始める人の線形代数を学ぶモチベーション - HELLO CYBERNETICS
はじめに 機械学習に使われる主要な数学 線形代数 最も重要な理由 線形代数って何なんだ？ 線形代数を学ぶモチベーション 線形代数を学んで、できるようになること 補足 微分積分学は？ 確率統計は？ 確率・統計を考えていくための初歩を確認したい人は以下の記事へ はじめに この記事は、私が機械学習を学んできて感じた、数学の役割をまとめたものです。記事を書く上で特に意識したのは、ある数学が機械学習においてどのように活躍し、どのような旨味をもたらしたのか、そして、そこから数学を学ぶ意義を改めて抑えることです。 数学の解説をすることが目的ではないため、直接的に数学の疑問を晴らすということにはなりませんが、 これから機械学習を学んで行こうという場合に、数学がどのように役立ちうるのか、その全体像を予め把握しておくことに使っていただけると幸いです。 機械学習に使われる主要な数学 多くの書籍、多くの記事が世の
有用な確率不等式のまとめ - Counterfactualを知りたい
はじめに 機械学習に関連する諸分野では何かしらの統計量（期待判別誤差やリグレットなど）を上から評価したい場面が多くあります. そのような場面で大活躍するのが確率不等式と呼ばれる不等式の数々です. 今後本ブログでもこれらの不等式を多用することが予想されるため, 一度まとめておきます. いくつかの不等式は証明もします. 証明は, MLPシリーズの『統計的学習理論』のAppendix Aを参考に, 自分なりに行間を埋めてみました. 目次 はじめに 目次 Jensen's inequality Markov's inequality / Chebyshev's inequality Hoeffding's inequality McDiarmid's inequality さいごに 参考 Jensen's inequality まず, 凸関数の定義を確認します. 凸関数: 関数が, 任意の と任意
変分ベイズに関する復習 - Qiita
はじめに 前回は、エントロピー・KL divergenceに関する基本的なことを復習しました。 今回は、変分ベイズに関する基本的なことを書いていこうと思います。 変分ベイズをまとめると、以下の通りです。 （自分なりの大まかな解釈です。） 今、自分たちはAについて知りたい。しかし、Aを直接知ることは困難 なので、良く分からないAを計算せず、計算可能なBについて考える BをなるべくAに近づけるよう形で定義したい ある基づいてBをAに近づけていく 十分にAに近づいたBは、もはや自分たちが知りたかったAと見なせる 少しざっくりしてますが、こんな風に理解しています。 では、この内容を具体的に考えていきます。 目的 目的は、観測データから未知の変数を求めることです。 $y$ を観測データ、$z$を推定したい未知の変数とすると、この問題は の事後確率分布を計算する問題となります。 これを解析的に求めるの
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
PRML勉強会 #4 @筑波大学 で tsujimotter が発表予定の資料です。 http://cs-cafe.connpass.com/event/14595/
「情報幾何の新展開」のやばさ - xiangze's sparse blog
「情報幾何の新展開」という本が話題になっています。 http://www.saiensu.co.jp/?page=book_details&ISBN=ISBN4910054700848&YEAR=2014 別冊数理科学 情報幾何学の新展開 2014年 08月号 [雑誌] 出版社/メーカー: サイエンス社発売日: 2014/08/22メディア: 雑誌この商品を含むブログを見る 著者は情報幾何という学問分野を創始したともいえる甘利俊一先生です。 本書においては今までの分野の総括のみならず機械学習の理論や応用の進展を受けた今後の発展の方向を示しているような非常に野心的であおられているような書き方であったので、非常に簡単ではあり、また理解が不足している部分がありますが感想をまとめます。 ４部構成になっていて、第I部、第II部は情報幾何を理解する為の基礎となる数学についての解説で、第III部は統計的
共役勾配法 - 大人になってからの再学習
まず最急降下法について。 最適化問題の局所的探索法に最急降下法がある。 この最急降下法の考え方は次のような感じ。 「最も勾配が急な方向に進みましょう。その方向で一番低い場所に到達したら、進む向きを変えましょう。新しい方向は、その地点で最も勾配が急な方向です。これを繰り返すことで、やがては最も低い点に到着するでしょう。」 考え方は単純でわかりやすい。 その性質上、向きを変えるときには、それまでの進行方向と新しい進行方向が直交し、直角にジグザグと進むことになる。 下図のような感じ。 この楕円が扁平な場合、最急降下法だとジグザグの回数が増えて、なかなか最適解に収束しないという問題がある。 下図のように最適解に向かって進むものの、次第にステップサイズが小さくなって、なかなか収束しない。 で、もっといい方法があるんじゃないの？ ということで共役勾配法が考え出された。 これは「最も勾配が急な方向」では
機械学習をやる上で知っておきたい連続最適化 - Qiita
本記事では、機械学習のタスクを解く上で非常によく登場する最適化問題(optimization problem)の基礎を解説していきます。 機械学習で用いる最適化といえば、SGDやMomentum、Adamなどが有名ですね。はじめ、それらに関しての解説を書こうかとも考えましたが、既に優れた記事が多々あるので、ここではほとんど触れません。 一方、最適化問題とは何か、アルゴリズムが"優れている"とはどう評価するか、などの最適化の基礎に関わる部分の情報が少なかったので、本記事ではそれらについて解説を行なっていきたいと思います。 最適化問題 まず、はじめに最適化問題の定義を与えます。最適化問題とは、与えられた条件のもとで何らかの関数を最小化(もしくは最大化)する問題のことを指します。 関数$f:R^n \rightarrow R$, $g_i:R^n \rightarrow R(i=1,...,m)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
