正規化線形関数 - Wikipedia
x = 0近傍での正規化線形関数（青）およびソフトプラス関数（緑）のプロット 正規化線形関数（せいきかせんけいかんすう、英: Rectified linear functionあるいは単にrectifier[注釈 1]とも）は、引数の正の部分として定義される活性化関数であり、次のように表される。 上式において、 はニューロンへの入力である。これはランプ関数（傾斜路関数）としても知られ、電気工学における半波整流回路と類似している。この活性化関数は、1993年にTangらによって新しいニューロンモデルとして最初に提案され、ニューラルネットワークの学習に適用し、その有効性が示された[1]。2000年にHahnloseらによって強い生物学的動機と数学的正当化を持って、動的ネットワークへに導入された[2][3]。2011年以前に広く使われていた活性化関数、例えばロジスティックシグモイド（これは確率論
Softmax function - Wikipedia
The softmax function, also known as softargmax[1]: 184 or normalized exponential function,[2]: 198 converts a vector of K real numbers into a probability distribution of K possible outcomes. It is a generalization of the logistic function to multiple dimensions, and used in multinomial logistic regression. The softmax function is often used as the last activation function of a neural network to
Limitations of Deep Learning for Vision, and How We Might Fix Them
Limitations of Deep Learning for Vision, and How We Might Fix Them History of Deep Learning We are witnessing the third rise of deep learning. The first two waves — 1950s–1960s and 1980s–1990s — generated considerable excitement but slowly ran out of steam, since these neural networks neither achieved their promised performance gains nor aided our understanding of biological vision systems. The th
単語埋め込みにおけるout-of-vocabularyの対応 - magnitudeの初期化
概要 magnitudeという単語埋め込みを扱うライブラリには、単語を構成する文字列を考慮したout-of-vocabularyの初期化の方法が実装されています。EMNLP 2018の論文と実際のコードを元に、その初期化の方法を実装して試してみました。 背景 KaggleのQuora Insincere Questionsコンペを終えて KaggleのQuora Insecure QuestionsのコンペではOOVの対応が重要だったっぽいけど、magnitudeはランダムベクトルの付与とかミススペルの対応とかしてくれるみたいだ。ロジック確認しないと何してるのかわからないけど…… https://t.co/d8tteqwwCp — やぐ (@yag_ays) February 26, 2019 KaggleのNLPコンペであるQuora Insincere Questions Class
機械学習とは簡単にいうと何？深層学習（ディープラーニング）との違いと活用事例 | スマートホーム(スマートハウス)情報サイト | iedge
人工知能（AI)には「機械学習」と「深層学習（ディープラーニング）」というものがあることをご存知でしょうか。現在、多くの人工知能に採用されているのは機械学習の機能です。 コンピュータが進化し、AIの性能が向上していくと同時に深層学習がメインになるともいわれていますが、両者の違いはどこにあるのでしょうか。今回は、現在もっとも多く採用されている機械学習について、その基本的な仕組みや活用事例などを中心に詳しく紹介していきます。 「機械学習」とは？ まずは簡単に解説 AIの仕組みを知るうえで欠かせないのが「機械学習」というものです。 機械学習とはその名の通り、コンピュータが物事を学習していくことです。これまでの一般的なコンピュータのプログラミングでは、人間と同じように画像を認識したり言語を認識したりすることは難しいものでした。 しかし、AIにおける技術のひとつである機械学習を活用することによって
TechCrunch
This pitch deck makes for some really interesting reading and storytelling, so let's dive in and see if we can spot what happened and how.
GNNまとめ(1): GCNの導入 - Qiita
はじめに 2018年はグラフを扱う深層学習(GNN; graph neural network)が大きく発展した1年でした. その一方で, 提案される手法が多くなるに連れて, それぞれの関係性や全体像が見えづらくなっている印象があります. その問題を受けてか, 年末頃からこのような図を含むサーベイ論文[1-3]がarXivに立て続けに登場していたので, その内容をまとめてみました. 長いので3部作に分けようと思います. GNNまとめ(2): 様々なSpatial GCN - Qiita GNNまとめ(3): 発展編とこれから - Qiita [1]より引用. ちなみに, 本記事に限らず, GNNという言葉は2通りの意味で用いられているので注意してください. 本記事のタイトルのようにGNNがグラフを扱う深層学習全般を指すこともあれば, 図にあるように. 畳込みを利用しないアルゴリズムを指すこ
Python用の自然言語処理ライブラリ”StanfordNLP”を試す | DevelopersIO
StanfordNLPとは StanfordNLPとは、スタンフォード大学の自然言語処理(Natural Language Processing, NLP)グループが提供するPythonのNLPライブラリです。 同じくスタンフォード大学のNLPグループが提供するStanford CoreNLPというJavaで書かれたNLPツールのサーバーにアクセスする為のパッケージが含まれています。 GitHub - StanfordNLP GitHub - Stanford CoreNLP ライセンス 基となるStanford CoreNLPはGNU GPL(v3以降)ですが、StanfordNLPはApache License Version 2.0となっています。 特徴 StanfordNLPは、Python3.6以降をサポートしており、トークナイザー、形態素解析、依存関係パーサー等の機能を有します
AAAI 2019 Highlights: Dialogue, reproducibility, and more
AAAI 2019 Highlights: Dialogue, reproducibility, and more This post discusses highlights of AAAI 2019. It covers dialogue, reproducibility, question answering, the Oxford style debate, invited talks, and a diverse set of research papers. This post discusses highlights of the Thirty-Third AAAI Conference on Artificial Intelligence (AAAI-19). I attended AAAI 2019 in Honolulu, Hawaii last week. Overa
米Uber、コードを書かずに深層学習モデルのトレーニングができるツール「Ludwig」を発表 | OSDN Magazine
米Uberは2月11日、深層学習ツールボックス「Ludwig」を発表した。TensorFlowを土台とし、コードを書くことなく深層モデルのトレーニングとテストができるという。 LudwigはTensorFlowベースの深層学習ツール。機械学習におけるモデル開発や比較プロセスを簡素化する汎用のツールとして、Uber内部で2年がかりで開発した。Weka、MLlib、Caffe、scikit-learnなどのソフトウェアなどから着想を得て、汎用性、柔軟性、拡張性などにつながる機能を加えた。性能を理解したり、予想や比較を行うための可視化機能も備える。 コードを書くことなく深層モデルのトレーニングとテストができる点が特徴で、データを含むCSVファイルと、インプットとして使うカラム、アウトプットとしてのカラムリストといったデータを用意するだけで利用できるという。扱えるデータはバイナリやカテゴリ、数、テ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Residual neural network - Wikipedia
Batch normalization - Wikipedia
https://keras.io/layers/normalization/)
Dilution (neural networks) - Wikipedia
Keras documentation: Core layers
実践Deep Learning：Deep Learningで行う予測
DeepGlyph
TechCrunch
特效平台
世界最速のスパコンが深層学習の最速記録、気象予測を新たな次元へ