Word2Vec：発明した本人も驚く単語ベクトルの驚異的な力
Word2Vecとは Word2Vecで演算処理する Word2Vecとニューラルネットワーク Word2Vecの仕組み CBoW Skip-gram Word2Vecを応用することができる分野 レコメンド 機械翻訳 Q&A・チャットボット 感情分析 Word2Vecの弱点 Word2Vecの派生系や類似ツール GloVe WordNet Doc2Vec fastText まとめ 参考 世界中のWebサイトの数は2014年に10億件を超えたようだ。そして、Facebookのユーザー数だけでも16億人を超えている。 そして、そのいずれもコンテンツの中身の大部分はテキストから成り立っていることだろう。 ということは、莫大に増大し続けるネット上のデータのほとんどはどこかの国の言葉だってことだ。世界中の人が毎日テキストデータを生成し続けたことはこれまでの歴史上無かったんじゃないだろうか。 もしそん
倒立振子でDQNにおけるモデルの複雑さと学習内容の関係をちらっと確かめてみた系の話 - めもめも
何の話かというと qiita.com 上記の記事では、「倒立振子」を題材にした、DQN（Deep Q Network）による強化学習の解説があり、非常によくまとまっています。 一方、この記事の中では、全結合層を4層に重ねたネットワークを利用しているのですが、倒立振子の問題に限定すれば、もっとシンプルなネットワークでも対応できる気がしなくもありません。 というわけで、「0層（パーセプトロン）」「1層」「2層」のネットワークでどこまで学習できるのか、モデルの複雑さと学習内容の関係を確認してみたよー、というのがこのブログのネタになります。 DQNとは？ まずは簡単にDQNを解説しておきます。 ビデオゲームの自動プレイで有名になりましたが、「与えられた環境において、最善の行動を選択する」という処理を実現することが目標です。ここで言う「行動」は、ビデオゲームの操作のように、「どのボタンを押すのか」と
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
ゼロからDeepまで学ぶ強化学習 - Qiita
ロボットから自動運転車、はては囲碁・将棋といったゲームまで、昨今多くの「AI」が世間をにぎわせています。 その中のキーワードとして、「強化学習」というものがあります。そうした意味では、数ある機械学習の手法の中で最も注目されている(そして誇張されている・・・)手法ともいえるかもしれません。 今回はその強化学習という手法について、基礎から最近目覚ましい精度を出しているDeep Q-learning(いわゆるドキュン、DQNです)まで、その発展の流れと仕組みについて解説をしていきたいと思います。 本記事の内容をベースに、ハンズオンイベントを開催しました(PyConJPのTalkの増補改訂版) Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン 講義資料の方が図解が豊富なので、数式とかちょっと、という場合はこちらがおすすめです。 Tech-Circle #18 Pythonではじ
DQNの生い立ち ＋ Deep Q-NetworkをChainerで書いた - Qiita
はじめに そもそもDQNが作りたかったわけじゃなくて、他の目的でChainerを使いたかったのでその練習にDQNを書いたんですが、せっかくだし公開しようと思いました 公開しました 。またどうせ公開するなら、この機会にこれ（Q学習+関数近似）関連で持っている知識をついでに整理しようと思ってまとめました。 ニュース記事とかNatureとかNIPSの論文だけ読むと、DQN作ったDeepmind/Googleすげー！！！って感覚になりそうですが、強化学習的な歴史的経緯を考えると強化学習+深層学習になった、むしろかなり当然の成り行きで生まれた技術であることがわかります。（ATARIのゲームを人間以上のパフォーマンスでプレイするというのがビジュアル的にわかりやすかった$\leftrightarrow$問題設定が良かったというのもあります。） この記事ではNIPSとNatureの以下の２本の論文 ・ V
Deep LearningとConvolutional Neural Network - Stimulator
- はじめに - 前回機械学習ライブラリであるCaffeの導入記事を書いた。今回はその中に入ってるDeep Learningの一種、Convolutional Neural Network(CNN:畳み込みニューラルネットワーク)の紹介。 CNNは今話題の多層ニューラルネット、Deep Learningの一種であり、画像認識等の分野に大きな成果をもたらしています。 まあCNNすごい。本当、画像認識系だと一強といった感じ。 実装経験もあるのでよしなに書いてみようという記事。 追記：2018-10-24 この記事は2014年終盤、Deep Learningに関連するネット記事も数個しかなく、各論文でもCNNに関する理解が分かれていたような時期に、大学生であった筆者が書いた記事です。概念の理解の助けになるよう残していますが、正しくない箇所も後々多く出てくるかと思います。考慮の上、お読み頂ければと
金食い虫の「機械学習」と実用に堪えない「ディープラーニング」
「AI詐欺」が横行する日本のIT業界。AIブームのウソとホントに斬り込む連載の第3回では、主にコスト面から「機械学習」や「ディープラーニング」のビジネス導入の非現実さをあぶり出す。AIのシステム構築コストだけに意識が向いてしまい、従来の業務システムと同様の感覚で運用コストを見積もっていると、後に重大事態を招くと警鐘を鳴らす。 現在の人工知能（AI）の代表格は機械学習とディープラーニング。どちらも今後、世界を変える大きな可能性を秘めていることは言うまでもない。だが、世界を変えるにはまだまだ遠い。例えば（筆者はいまだ聞いたことはないが）、統計アプローチではない新たな手法の発見など、機械学習やディープラーニングの根幹技術の飛躍的な発展でもない限り、ビジネスでの活用を通じて世界を変えるには、多くの課題を抱えている。 機械学習やディープラーニングのビジネス上の課題は、大きくコスト視点と効果視点に分け
Deep Learning
An MIT Press book Ian Goodfellow and Yoshua Bengio and Aaron Courville The Deep Learning textbook is a resource intended to help students and practitioners enter the field of machine learning in general and deep learning in particular. The online version of the book is now complete and will remain available online for free. The deep learning textbook can now be ordered on Amazon. For up to date an
［GTC 2015］GPUが機械学習型AIを人間より賢くする？ NVIDIA CEOによるGTC 2015基調講演レポート
［GTC 2015］GPUが機械学習型AIを人間より賢くする？ NVIDIA CEOによるGTC 2015基調講演レポート ライター：西川善司 Jen-Hsun Huang氏（Co-Founder and CEO, NVIDIA）。最近，講演で氏が登壇するときは，決まって肩に鋲の入ったこのジャンパーを着ている 北米時間2015年3月17日，NVIDIA主催のGPUコンピューティング開発者会議「GPU Technology Conference 2015」（以下，GTC 2015）が米国サンノゼで開幕した。会期初日には，NVIDIAの社長兼CEOであるJen-Hsun Huang（ジェンスン・フアン）氏が登壇する基調講演が行われ，同社の最新製品や，GPGPU分野の最新動向についてが解説されている。 講演の冒頭で，Huang氏は「今日，アナウンスしたいことは4つある」と語りだした。スライドで掲
拡がるディープラーニングの活用
2016年1月15日に行われたNVIDIA Deep Learning Day 2016での講演です。 エヌビディア合同会社 エンタープライズビジネス事業部 井﨑 武士 既にディープラーニングの活用は拡がっています。このセッションでは世界中の様々な事例をご紹介します。またドワンゴ、みずほ証券、ABEJAをゲストにお迎えして、日本でのディープラーニングの先進的な事例をご紹介して頂きます。 FACEBOOKの提唱するBig Surアーキテクチャなど、ディープラーニングを活用するためのシステム構築のノウハウや、Microsoft Azure、IBM SoftLayer など、ディープラーニングに最適なクラウドの活用についてもご紹介します。 さらにディープラーニングのシステム構築を請負うインテグレーター各社（NTTコムウェア、クロスコンパス、システム計画研究所、テクノスデータサイエンス・マーケティ
Deep Learningの気持ちになって考えてみる - kivantium活動日記
前回の記事で友利奈緒判定botを作ったのを紹介したところ、いろんな人から試してもらうことができました。集計したところ正解率としては90%程度を出していました。 この前集計した時の混同行列はこんな感じでした。最近投稿数が増えすぎて集計したくないです……。 しかし、第4世代のネットワークになっても「さすがにこれはないだろう」というような間違いを続けています。 .@dolicas_ 友利奈緒です(72%) pic.twitter.com/U9l93GVgIS— まほろ（稼働中） (@mitra_sun22) 2015, 9月 5 .@DEGwer3456 友利奈緒です(99%) pic.twitter.com/8Yum498g4E— まほろ（稼働中） (@mitra_sun22) September 6, 2015 Deep Learningは性能がいいということで最近もてはやされていますが、こ
ぼくの実装した最弱のディープラーニング - きしだのHatena
8月の頭からディープラーニングを実装していたのを、先日、プレゼンしてきました。 プログラマのための数学勉強会@福岡 - connpass ぼくの実装した最弱のディープラーニング from なおき きしだ ※追記 2023/4/12 SpeakerDeckにも置いてます https://speakerdeck.com/kishida/weakest-deep-learning-i-implemented GPU対応したり、ドロップアウトとかミニバッチとかいろいろ実装して、結構つよくなってます。 ちゃんと学習してくれないこと以外は。 ソースはこんな感じになってきています。 https://github.com/kishida/neuralnet/tree/CorrectOperationAsCCN GPU対応にはaparapiを使っています。JavaでGPUコードが書けるスグレモノです。 ap
【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。 - Qiita
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.co
Googleの猫認識 (Deep Learning) - 大人になってからの再学習
今から約1年前（2012年6月下旬ごろ）、ネット上で下の画像とともに 「Googleの研究開発によってコンピュータが猫を認識できるようになった」 というニュースが飛び回り、あちこちで話題になった。 例えば、次のようなサイトで大きく取り上げられた。 ・Google、大規模人工ニューロンネットワークを用いた研究成果を紹介|日経BP社 ITニュースPRO ・猫を認識できるGoogleの巨大頭脳 | WIRED.kp ・Google、脳のシミュレーションで成果……猫を認識 | RBB TODAY これらのサイトの記事では、だいたい次のように紹介されている。 今回の研究成果では、コンピューターは猫がどういうものであるか人間に教えられること無く、自力で理解した。 http://www.rbbtoday.com/article/2012/06/27/90985.html 1週間にわたりYouTubeビデ
実装ディープラーニング
はじパタLT資料です。ディープラーニングのライブラリの使い方が知りたい方は15ページからご覧ください。
Deep learning
Accessibility View text version Categories Technology Upload Details Uploaded via SlideShare as Adobe PDF Usage Rights © All Rights Reserved Statistics Favorites 2 Downloads 0 Comments 0 Embed Views 0 Views on SlideShare 0 Total Views 0 Deep learning — Presentation Transcript Deep Learning 株式会社ウサギィ 五木田 和也 2012/11/0912年11月9日金曜日 自己紹介 ✤ 株式会社ウサギィのエンジニア ✤ 機械学習、自然言語処理、組合せ最適化 ✤ iPhone, Android, Rails ✤ な
はじめるDeep learning - Qiita
そうだ、Deep learningをやろう。そんなあなたへ送る解説記事です。 そう言いながらも私自身勉強しながら書いているので誤記や勘違いなどがあるかもしれません。もし見つけたらご連絡ください。 Deep learningとは こちらのスライドがとてもよくまとまっています。 Deep learning つまるところ、Deep learningの特徴は「特徴の抽出までやってくれる」という点に尽きると思います。 例えば相撲取りを判定するモデルを構築するとしたら、普通は「腰回りサイズ」「マゲの有無」「和装か否か」といった特徴を定義して、それを元にモデルを構築することになります。ちょうど関数の引数を決めるようなイメージです。 ところが、Deep learningではこの特徴抽出もモデルにやらせてしまいます。というか、そのために多層、つまりDeepになっています。 具体的には頭のあたりの特徴、腰のあ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Neural Network Console
深層学習フレームワークChainerの特徴
Deep Learningと画像認識� �～歴史・理論・実践～
