Turing Award Won by 3 Pioneers in Artificial Intelligence (Published 2019)
From left, Yann LeCun, Geoffrey Hinton and Yoshua Bengio. The researchers worked on key developments for neural networks, which are reshaping how computer systems are built.Credit...From left, Facebook, via Associated Press; Aaron Vincent Elkaim for The New York Times; Chad Buchanan/Getty Images SAN FRANCISCO — In 2004, Geoffrey Hinton doubled down on his pursuit of a technological idea called a n
機械学習・人工知能分野の現状と今後（NIPS2018参加ログ） - Qiita
はじめに NIPS2018に参加して，昨日，日本へ帰国しました．5日間にわたり本当に沢山の方々の話を聞くことができ，とても有意義な時間を過ごしました．多くの講演や議論の中で，機械学習・人工知能分野には，2018年現在において，以下の3つの大きな流れがあるように感じました． (1) 現状の機械学習パラダイムの不備を認識し，対策しようとする流れ (2) アルゴリズムレベル，ツールレベルの漸進的改善を進める流れ (3) 機械学習と神経科学の相互リンクを生み出そうとする流れ 記憶が新鮮なうちに，これら3つの潮流についてまとめておきます．NIPSの公式サイトには，招待講演を含め，多くの論文やスライドが公開されているので，気になる方はそっちも確認してみてください！ https://nips.cc/Conferences/2018/Schedule 総論 機械学習・人工知能分野は，ここ数年のうちに驚異的
人工知能勉強会 第1回 人工知能研究の全体像
3. 知能とは何か • 知能の有無を判別する方法はあるか？ – 「一般的な人間に知能があること」には同意できる – 客観的に知能の有無を判別する方法は知られていない – ネコ、トカゲ、カエル、アリ、ミドリムシ 、石ころ に知能があるか？ – 「わからない」もしくは「言葉の定義による」 • 定義できるほど知能について理解できていない 4. チューリングテスト(1950) • 「機械は考えることができるか？」 – 「機械」や「考える」という言葉の定義をしてもな かなか結論がでない • 話をして、人間と区別がつかないなら、その相手 は「考えている」と言えるだろう – 姿や声に惑わされないようにチャットで – 参考文献: A. M. Turing (1950) “Computing Machinery and Intelligence”, Mind 49: 433-460. • 現在は人工知能の判
Juliaを使ったニューロンの発火時系列の生成と推定
脳科学若手の会という団体のイベントでHonda Research Instituteの島崎秀昭先生に点過程によるニューロンの発火時系列の生成と推定に関するワークショップを依頼した。 ニューロンは発火活動という膜電位の急激な変化を通して互いに情報を伝達しあっている。 その発火系列は各時刻ごとに発火or非発火のバイナリで表される時系列データのため、点過程という統計的手法を用いてモデリングを行うことができる。 ワークショップではニューロンの発火時系列の解析の基礎となる点過程について島崎先生からご講演いただき、プログラミング言語Juliaを用いて参加者が各自コーディングに取り組んだ。 自分は運営スタッフとしてワークショップのコーディング部分のチューターを担当し、サンプルコードの作成とコーディングの補助を行った。 ここではその内容を備忘録として簡単に記事にまとめる。 内容としては発火頻度が時間変化す
ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(前編) | POSTD
新しいニューラルネットワークのアーキテクチャがその時々で誕生するため、それら全部を把握することは困難です。全ての略語を覚えようとすると、最初はその数の多さに圧倒されてしまうでしょう（DCIGNやBiLSTM、DCGANを知っている人はいますか？）。 そんなわけで、これらのアーキテクチャの多くを盛り込んだチートシートを作ることにしました。そのほとんどはニューラルネットワークです。しかし、中には全く異なるアーキテクチャも潜んでいます。どれも独特で目新しいアーキテクチャばかりですが、ノードの構造を描くことで基本的な関係が分かりやすくなってきます。 これらをノードマップとして描くことの問題点は、これらがどのように使われるかを明確に示していないという点です。例えば、変分オートエンコーダ（VAE）はオートエンコーダ（AE）と同じように見えますが、実際は訓練過程が全く異なりますし、訓練したネットワークの
Differentiable neural computers | DeepMind
Research Differentiable neural computers Published 12 October 2016 Authors Gregory Wayne, Alexander Graves In a recent study in Nature, we introduce a form of memory-augmented neural network called a differentiable neural computer, and show that it can learn to use its memory to answer questions about complex, structured data, including artificially generated stories, family trees, and even a map
multi-layer perceptron (MLP) architecture: criteria for choosing number of hidden layers and size of the hidden layer?
how many hidden layers? a model with zero hidden layers will resolve linearly separable data. So unless you already know your data isn't linearly separable, it doesn't hurt to verify this--why use a more complex model than the task requires? If it is linearly separable then a simpler technique will work, but a Perceptron will do the job as well. Assuming your data does require separation by a non-
Hacker's guide to Neural Networks
Note: this is now a very old tutorial that I’m leaving up, but I don’t believe should be referenced or used. Better materials include CS231n course lectures, slides, and notes, or the Deep Learning book. Hi there, I’m a CS PhD student at Stanford. I’ve worked on Deep Learning for a few years as part of my research and among several of my related pet projects is ConvNetJS - a Javascript library for
Hopfield network - Scholarpedia
A Hopfield net is a recurrent neural network having synaptic connection pattern such that there is an underlying Lyapunov function for the activity dynamics. Started in any initial state, the state of the system evolves to a final state that is a (local) minimum of the Lyapunov function. There are two popular forms of the model: Binary neurons with discrete time, updated one at a time \[V_j(t+1) =
Deep Learning and Neural Networks
Advanced Research Seminar I/III Graduate School of Information Science Nara Institute of Science and Technology January 2014 Instructor: Kevin Duh, IS Building Room A-705 Office hours: after class, or appointment by email (x@is.naist.jp where x=kevinduh) Course Description Deep Learning is a family of methods that exploits using deep architectures to learn high-level feature representations from d
ニューラルネットの逆襲 - Preferred Networks Research & Development
岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html] 優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR
忘却がもたらす驚くべき効果 ―軽微な忘却は、運動指令を最適化することを理論的に証明― | 東京大学
平成24年6月29日 東京大学大学院教育学研究科 1．発表者 平島 雅也（東京大学大学院教育学研究科・助教） 野崎 大地（東京大学大学院教育学研究科・教授） 2．発表のポイント ◆どのような成果を出したのか 運動学習プロセスにおける「軽微な忘却」には、運動指令を最適化するという予想外の効果があることを理論的に証明しました。 ◆新規性（何が新しいのか） 脳における最適化計算の実態は謎に包まれていましたが、脳に生得的に備わっている忘却という機能がその役割を担っている可能性を初めて示しました。 ◆社会的意義／将来の展望 適度な休息（忘却）を取り入れた効率的な練習スケジュールの開発など、スポーツやリハビリテーション分野への応用につながることが期待されます。 3．発表概要 忘却というと、記憶を阻害するものとして悪いイメージを持つ人が多いかもしれません。しかし、今回、東京大学大学院教育学研究科 平島雅
東大など、数十年来の脳の謎を解明 - 脳回路が精密な配線であることを発見
科学技術振興機構(JST)と東京大学は1月20日、脳の神経回路が、回路を形成する神経細胞「ニューロン」(画像1)より小さく、「シナプス」の単位で正確に編まれることで機能を発揮することを明らかにしたと発表した。東京大学大学院薬学系研究科の池谷裕二准教授らの研究グループによる発見で、成果は米科学誌「Science」に米国東部時間1月20日に掲載された。 画像1。ニューロンとシナプスの基本構造。ニューロンは、樹状突起が広がる細胞体部分と、そこから長く伸びる軸索とで構成され、ほかのニューロンから受け取った情報を処理して、ほかのニューロンに伝えていく。シナプス部分では、神経伝達物質を使って情報をほかのニューロンに伝える 脳はニューロンと呼ばれる神経細胞からなり、各々のニューロンが、少しずつ情報を処理している。その処理結果は、ニューロン間の特殊な結合であるシナプスを介して、次のニューロンに伝えられる(
「意識による判断の7秒前に、脳が判断」：脳スキャナーで行動予告が可能 | WIRED VISION
「意識による判断の7秒前に、脳が判断」：脳スキャナーで行動予告が可能 2008年4月17日 サイエンス・テクノロジー コメント： トラックバック (0) Brandon Keim この図は、被験者が実際に決定を下す前に、その決定が発現する脳の領域(緑の部分)を示している。 Photo:John-Dylan Haynes あなたは、自分がこの記事を読む決定をしたと思っているかもしれない。だが実際は、あなたが自分の決定を認知するずっと前に、脳が決定を下したのだ。 4月13日(米国時間)に『Nature Neuroscience』誌に発表された研究報告によると、脳スキャナーを使った研究者らは、被験者が自分で認識するより7秒も早く、彼らの決定を予測できたという。 今回調査されたのは、ボタンを左手と右手のどちらで押すかに関する判断であり、これは、人間の自己決定の感覚とより完全に結びついた複雑な選択
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
New Neural Network Building Block Allows Faster and More Accurate Text Understanding
Information processing using a single dynamical node as complex system - Nature Communications
PLOS Biology: A Peer-Reviewed Open-Access Journal
脳：ニューロンの行う確率的推論 : Abstract : Nature: