Stochastic Block Model を Edward で実装する - でかいチーズをベーグルする
前回の記事で Edward を使ってみたらすごく良かったので、もう一回遊んでみる。今回はグラフクラスタリングによく使われる Stochastic Block Model (SBM) を実装する。 前回の記事はこれ。 yamaguchiyuto.hatenablog.com ちなみにプルリク送ったらマージされたので、コードはリポジトリの edward/examples/stochastic_block_model.py にある。 github.com Stochastic Block Model Stochastic Block Model (SBM) はグラフの確率的生成モデルの一つ。グラフの確率的生成モデルと言うと、有名どころでは Erdos-Renyi model とか Barabasi-Albert model とかあるけど、そういうやつ。 SBM がどういうモデルなのか、すごく簡単
The impossibility of intelligence explosion – François Chollet – Medium
Transcendence (2014 science-fiction movie)In 1965, I. J. Good described for the first time the notion of “intelligence explosion”, as it relates to artificial intelligence (AI): Let an ultraintelligent machine be defined as a machine that can far surpass all the intellectual activities of any man however clever. Since the design of machines is one of these intellectual activities, an ultraintellig
Deep Image Prior
Example results on several image restoration problems. We use deep neural networks, but we never train/pretrain them using datasets. We use them as a structured image prior. Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example ima
Population based training of neural networks
Research Population based training of neural networks Published 27 November 2017 Authors Max Jaderberg Neural networks have shown great success in everything from playing Go and Atari games to image recognition and language translation. But often overlooked is that the success of a neural network at a particular application is often determined by a series of choices made at the start of the resear
🔭コラム：機械学習パラダイス（上野達弘） – 早稲田大学知的財産法制研究所[RCLIP]
最近、外国で講演する機会が多い。2011年にドイツ留学を終えて以降、いろいろと引き受けているうちに招かれることが増え、今年の予定はすでに5回（ミュンヘン、ジュネーブ、メルボルン、北京、ソウル）を超えている。 ＡＩと知財 テーマは様々だが、最近多いのがAI（人工知能）をめぐる知財問題。2016年11月にはソウルで開かれたSeoul Copyright Forumでこれについて話したのをはじめ、また2017年8月にはメルボルンで開かれた国際人工知能会議（IJCAI）でもこれを取り上げた。このテーマが外国で注目されやすいのは、内閣府・知的財産戦略本部における検討など、日本で盛んな議論が展開されていることにもよるが、実はもう一つ大きな理由がある。それが、著作権法４７条の７だ。 著作権法47条の7という規定 この規定――外国だと“Article 47septies”となって言いにくいのだが――は、コ
NIPS 2017 Art Gallery
NIPS 2017 Art Gallery See link for accepted art submissions, music submissions, and demos for papers! Introduction In the last year, generative machine learning and machine creativity have gotten a lot of attention in the non-research world. At the same time there have been significant advances in generative models for media creation and for design. This one-day workshop explores several issues in
デバッガを使ってKerasのモデルをデバッグする - Ahogrammer
3行まとめ Keras で作成したモデルをデバッグしたい。 Keras には標準でデバッガが用意されていない。 Keras の Session オブジェクトを tfdbg でラップしてデバッグする。 オープンソースのニューラルネットワークライブラリである Keras は計算グラフに基づいています。 一般的な Keras のプログラムは以下の段階から構成されています。 Sequentialモデルか Functional API を用いて、モデルを構築する 計算グラフを実行し、学習や予測を行う ここで問題となるのが、2番目の計算グラフの実行中にエラーやバグが発生した場合、デバッグが難しいことです。 なぜなら、内部構造や内部状態が外から見えないため、どのような状況で計算に失敗したのかわからないからです。 Kerasには今のところdebuggerは存在しませんが、TensorFlowには tfdb
ディープラーニングフレームワークで可変長の入力を扱うときのTips - Qiita
はじめに 自然言語処理などで可変長の行列を使うときのパターンがいくつかある。毎回再実装しているような気がするので備忘録としてまとめる。 本記事では自分がよく使うChainerとTensorflowの実装をのせる。 (注: プロダクションのコードをコピペしたのではなく、このポストのために1から再実装したので、テストなどされていません。) Chainerに関する留意点 Chainerでは、可変長は下記で扱うように Variable + length で管理するのではなく、Variable のリストとして管理することを推奨しているように思う。具体的にはL.NStepLSTMやF.pad_sequenceなどである。 注記 下記記載のコードは、それぞれ下記のimportがされていることを前提にしている。
Darren Wilkinson's blog
Darren Wilkinson's blog Statistics, computing, functional programming, data science, Bayes, stochastic modelling, systems biology and bioinformatics Menu and widgets Functional programming (FP) languages are great for statistical computing, computational statistics, and machine learning. They are particularly well-suited to scalable computation, where this could either mean scaling up to distribut
Meow Generator
Alexia Jolicoeur-Martineau Data scientist, Statistician or Computer scientist (Pick one) I experimented with generating faces of cats using Generative adversarial networks (GAN). I wanted to try DCGAN, WGAN and WGAN-GP in low and higher resolutions. I used the CAT dataset (yes this is a real thing!) for my training sample. This dataset has 10k pictures of cats. I centered the images on the kitty f
藤井四段で学ぶ最尤推定、MAP推定、ベイズ推定 - Qiita
藤井四段の連勝が止まらないですね。 21日の対局に勝利して、連勝記録を１位タイの28連勝まで伸ばしてきました。26日の対局で勝利すれば単独トップになります。 そんな藤井四段の対戦成績は28勝0負。勝率でいうと1.000です。クラクラするような成績ですが、この「勝率」とは何かを少し数学的にみてみましょう。 単純に言葉だけをみると「藤井四段が勝利する確率」ではないかと考えられます。つまり $$P(\text{勝利}\ |\ \text{藤井四段}) = 1.0$$かのように感じます。 ではここで、26日の対局で藤井四段が勝利する確率はどれだけでしょう？ $P(\text{勝利}\ |\ \text{藤井四段}) = 1.0$として考えると、これはつまり藤井四段は必ず勝つので、100%になってしまいます。しかし、もちろんそんなことはありません。藤井四段ですらも負けることはあるはずです。 実はここ
Learning Discrete Representations via Information Maximizing Self Augmented Training [arXiv:1702.08720]
Learning Discrete Representations via Information Maximizing Self Augmented Training [arXiv:1702.08720] 概要 Learning Discrete Representations via Information Maximizing Self Augmented Trainingを読んだ Chainerで実装した はじめに Information Maximizing Self Augmented Training（以下IMSAT）は、Regularized Information Maximization（以下RIM）による学習と、data augmentationを用いて予測分布を滑らかにする学習の2つを同時に使ってクラスタリングを行う手法です。 MNISTを教師なしで98%分類できる
![Learning Discrete Representations via Information Maximizing Self Augmented Training [arXiv:1702.08720]](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7d57690043ca98898bbd61f10300c7a127dd8d4/height=288;version=1;width=512/http%3A%2F%2Fmusyoku.github.io%2Fimages%2Fpost%2F2017-03-11%2Fmnist_train.png)
Adversarial AutoEncoderで半教師あり学習
概要 Adversarial Autoencoders を読んだ Chainer 1.12で実装した はじめに 前回Adversarial AutoEncoderの記事を書きましたが、あれから3ヶ月後に論文が更新され、半教師あり学習への応用などの項目が追加されていました。 そこでChainer 1.12で実装し実験を行いました。 コードはGitHubにあります。 以下の説明は全てこのコードを元に行います。 またAdversarial AutoEncoderをこれ以降AAEと呼びます。 Adversarial Regularization 論文2.3節では隠れ変数$\boldsymbol z$をラベルデータを用いて正則化する方法について書かれています。 コードはsupervised/regularize_zにあります。 学習させると以下のように狙った箇所に隠れ変数を押し込めます。 Super
機械学習で使う指標総まとめ(教師あり学習編) - プロクラシスト
こんにちは、ほけきよです！ 機械学習の基本は教師あり学習です。 でも、実際の現場ではいろいろ指標が出てきて「?」 ってなるので、一回本気でまとめてみることにしてみました！ 教師あり学習の分類 二値分類 用語一覧表 図解 事例 事例1:果物の分類 事例2:ガンかどうかの検査 ROC曲線の意味合い 指標まとめ 多クラス分類 precision, recall, F-measure accuracy logarithm loss 出力が数値(回帰) 用語一覧 二乗誤差(MSE, RMSE)と絶対誤差(MAE)の使い分け AICとBIC, wAICの使い分け 時系列問題 参考になりそうなサイト 教師あり学習の分類 今回は正解はカテゴリか意味を持つ数字かで場合分けをしてみた。 全体の指標のサマリーはこんな感じ(だと思っている。) ※他にも大事な指標があるよ&これは間違っているのでは？？ というコメン
機は熟した！グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - ABEJA Tech Blog
はじめまして。ABEJAでResearcherをやらせていただいている白川です。 先日、化合物の物性推定をDeep Learningをつかって従来手法より300,000倍高速に処理するという論文がでました（[1], [2]）。この論文の手法は、Graph Convolutionというグラフ上に定義されたConvolution演算がベースとなっています。物性推定に限らず、グラフ解析全般を Deep Learning で上手にこなせるようになれば、Deep Learningのアプリケーションの幅がぐっと拡がり、さらなるイノベーションが起きそうな予感がします。 ICMLやNIPSなどの機械学習系の主要国際会議でも数年前からGraph Convolutionについての論文がちらほら出現しはじめており、とくに最近その勢いが増してきている印象があります。個人的にも最近（前から？）にわかにグラフづいてい
CNN による画像分類で使われる前処理・テスト時処理まとめ - iwiwi 備忘録
とりあえず ImageNet 系の論文で、目に入ったものから順々にまとめていきます。情報・ツッコミ歓迎。 前処理・Data Augmentation Mean Subtraction 入力画像から平均を引く。[103.939, 116.779, 123.68] を各ピクセルから引く。VGG はこれ。 Per-pixel Mean Subtraction 入力画像から平均を引く。ピクセル・チャンネルごとに計算された平均を引く。即ち、224x224x3 個の値について個別に平均を計算し用いる。AlexNet 論文から使われており、ResNet もこれ。 Random Crop 256x256 ピクセルに画像をリサイズし、そこから 224x224 のパッチをランダムに取り出す。AlexNet 論文で使われていた。ちなみに Chainer の ImageNet サンプルはこれと Horizonta
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[DL輪読会] Learning from Simulated and Unsupervised Images through Adversarial Training
Deep Learning
GitHub - chainer/chainerrl: ChainerRL is a deep reinforcement learning library built on top of Chainer.
GitHub - matthiasplappert/keras-rl: Deep Reinforcement Learning for Keras.
