【まとめ】ディープラーニングを使った異常検知 - Qiita
ディープラーニングを使った異常検知が進歩していますが、最新情報を追うのが大変です。 ここでは、最新情報をまとめておきます（随時更新）。 本稿では、以下の内容を記します。 ディープラーニングを使った異常検知について、簡単に歴史をまとめます。 最新の手法（2019年当時）について、ベンチマークを行います。 歴史 完全に独断と偏見で作った歴史です。 全ての論文は読めていないので、ご了承ください。 【～2017年】オートエンコーダによる異常検知 オートエンコーダによる異常検知 2、3年前はオートエンコーダによる異常検知が主流でした。オートエンコーダでは、元画像と再構築画像との差をとって、その和が大きいとき異常と認識させています。Qiitaの記事でも、オートエンコーダによる異常検知はたくさんありますので、気になる人は探してみてください。 Variational AutoEocoder（VAE）による
Deep Learningにおける知識の蒸留 | Code Craft House
ここ数年のDeep Learningの発展は目覚ましく、急速に実用化が進んでいます。タスクによっては人間に匹敵する精度に達しているものもあり、システムの一部品としてデプロイする場面も増えてくると思います。そこで問題になるのが計算機資源の制約です。学習時には大量の学習データを用意し、GPUなどの計算資源で数時間や数日かかるような学習をしますが、推論時には限られたメモリや計算資源のもとで動作させる必要があります。リアルタイムに大量の入力データを捌く必要があったり、スマートフォンやエッジデバイスなどで動作させる場合には、この制約はさらに強くなります。 深くて大きいモデルの方が精度が出るが、実用を考えると軽量なモデルにする必要がある。こういった場面で最近よく使われる手法として、 知識の蒸留 (Knowledge Distillation) と呼ばれる方法があります。これは、（典型的には）大きくて複
ディープラーニングの判断根拠を理解する手法 - Qiita
ディープラーニングは特定分野で非常に高い精度が出せることもあり、その応用範囲はどんどん広がっています。 しかし、そんなディープラーニングにも弱点はあります。その中でも大きい問題点が、「何を根拠に判断しているかよくわからない」ということです。 ディープラーニングは、学習の過程でデータ内の特徴それ自体を学習するのが得意という特性があります。これにより「人が特徴を抽出する必要がない」と言われたりもしますが、逆に言えばどんな特徴を抽出するかはネットワーク任せということです。抽出された特徴はその名の通りディープなネットワークの中の重みに潜在しており、そこから学習された「何か」を人間が理解可能な形で取り出すというのは至難の業です。 例題：このネットワークが何を根拠に猫を猫として判断しているか、ネットワークの重みを可視化した上図から答えよ(制限時間:3分) image from CS231n Visua
深層学習の判断根拠を理解するための 研究とその意義 @PRMU 2017熊本
深層学習の判断根拠を理解するための 研究とその意義 @PRMU 2017熊本1. Copyright © 2017 TIS Inc. All rights reserved. 深層学習の判断根拠を理解するための 研究とその意義 戦略技術センター 久保隆宏 2. Copyright © 2017 TIS Inc. All rights reserved. 2 深層学習における、解釈性の問題 説明力が問われるシーン 判断に影響を受ける関係者がいる場合 法的責任が伴う場合 継続的なメンテナンスが必要な場合 判断根拠を理解するための手法 ネットワークの出力を最大化する入力の作成 入力に対する感度を分析する 出力から入力までの経路を逆にたどる 様々な入力から出力の傾向を推定する 入力に対する着目点をモデルに組み込む 説明力に対する評価 説明の一貫性
Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning
A significant amount of the world's knowledge is stored in relational databases. However, the ability for users to retrieve facts from a database is limited due to a lack of understanding of query languages such as SQL. We propose Seq2SQL, a deep neural network for translating natural language questions to corresponding SQL queries. Our model leverages the structure of SQL queries to significantly
こころを軸に情報技術を設計する。ドミニク・チェンの日本的ウェルビーイング実践（前編）
Artificial Intelligence（人工知能）は、人間の創造性を拡張するのか？ プログラマの徳井直生（Qosmo Inc. ）が、現代のAIを取り巻く技術やプロジェクトを参照しながら、「Stupid（愚か）」で「Alien（異質）」なAIの可能性を語る。 「Artificial Intelligenceではなく、Artificial Stupidity (人工的な愚かさ)に興味がある」 のっけから私事で恐縮ですが、昨年の春、私にとってアイドルともいうべき存在のアーティスト、ブライアン・イーノ氏とプロジェクトをご一緒させていただきました。アンビエント・ミュージックのパイオニアで、U2やColdplayといったアーティストのプロデュースでも知られるイーノ氏ですが、音楽の定義そのものを問い直すような活動を続けられています。アートとテクノロジーの関係性に関する幾多のインタビューや講演を
ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
GitHub - kjw0612/awesome-deep-vision: A curated list of deep learning resources for computer vision
Awesome Deep Vision A curated list of deep learning resources for computer vision, inspired by awesome-php and awesome-computer-vision. Maintainers - Jiwon Kim, Heesoo Myeong, Myungsub Choi, Jung Kwon Lee, Taeksoo Kim The project is not actively maintained. Contributing Please feel free to pull requests to add papers. Sharing [Share on Twitter](http://twitter.com/home?status=http://jiwonkim.org/aw
20170127-learning-tensorflow-3hours
ニューラルネットワークを用いた機械学習の「ディープラーニング(深層学習)」は人工知能(AI)開発に欠かせない技術であり、AI以外にもGoogleフォトの画像の自動タグ付け機能やAmazonのレコメンド機能など、すでに実用化されている技術に活用されています。そんなディープラーニングを開発者が学習するためのとっておきの方法をGoogleのクラウド開発者がブログで紹介しています。 Learn TensorFlow and deep learning, without a Ph.D. | Google Cloud Big Data and Machine Learning Blog | Google Cloud Platform https://cloud.google.com/blog/big-data/2017/01/learn-tensorflow-and-deep-learning-w
Deep Neural Network Learns to Judge Books by Their Covers
A machine-vision algorithm can tell a book’s genre by looking at its cover. This paves the way for AI systems to design the covers themselves. The idiom “never judge a book by its cover” warns against evaluating something purely by the way it looks. And yet book covers are designed to give readers an idea of the content, to make them want to pick up a book and read it. Good book covers are designe
機械翻訳と意味 - アスペ日記
ここ最近、Google翻訳がリニューアルされ、性能が向上したという話が流れてきたので、さっそく試してみた。 ぼくが真っ先に試したのは、「母は、父が誕生日を忘れたので、怒っている。」だ。 なぜこの文が気にかかっていたかは後述する。 結果は次の通り。 "My mother is angry because my father forgot her birthday." すばらしい。 では、「母は、父が鞄を忘れたので、怒っている。」はどうだろうか。 "My mother is angry because my father forgot his bag." 完璧だ！ 「誕生日を忘れた」の場合は「母の誕生日」と解釈し、「鞄を忘れた」の場合は「父の鞄」と解釈する。 これこそ、利用者が翻訳に求めるものじゃないだろうか。 しかし、ここまでだった。 次にぼくは、「父」と「母」を入れ替え、「父は、母が誕生日
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
LSTMネットワークの概要 - Qiita
Christopher Olah氏のブログ記事 http://colah.github.io/posts/2015-08-Understanding-LSTMs/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 リカレントニューラルネットワーク 人間は毎秒ゼロから思考を開始することはありません。このエッセイを読んでいる間、あなたは前の単語の理解に基づいて、各単語を理解します。すべてを捨てて、またゼロから思考を開始してはいません。あなたの思考は持続性を持っています。 従来のニューラルネットワークは、これを行うことができません、それは大きな欠点のように思えます。たとえば、映画の中の各時点でどのような種類の出来事が起こっているかを分類したいと想像してください。従来のニューラルネットワークが、映画の前の出来事についての推論を後のものに教えるためにどのように使用できるかは不明です。 リ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://arxiv.org/pdf/1804.06655
Deep Learning
DeepBach: harmonization in the style of Bach generated using deep learning
TechCrunch
DeNAの機械学習・深層学習活用した�体験提供の挑戦
https://arxiv.org/pdf/1610.02415.pdf
Connections between physics and deep learning
