Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 - 株式会社Preferred Networks
PyTorch開発チームおよびオープンソースコミュニティと連携し、フレームワーク開発、MN-CoreプロセッサのPyTorchサポートなどを推進 株式会社Preferred Networks（本社：東京都千代田区、代表取締役社長：西川徹、プリファードネットワークス、以下、PFN）は、研究開発の基盤技術である深層学習フレームワークを、自社開発のChainer™から、PyTorchに順次移行します。同時に、PyTorchを開発する米FacebookおよびPyTorchの開発者コミュニティと連携し、PyTorchの開発に参加します。なお、Chainerは、本日公開されたメジャーバージョンアップとなる最新版v7をもってメンテナンスフェーズに移行します。Chainerユーザー向けには、PyTorchへの移行を支援するドキュメントおよびライブラリを提供します。 PFN 代表取締役社長 西川徹は、今回の
Chainer を振り返って
2015 年 4 月 12 日に Chainer の最初のコードをコミットしてから，およそ 4 年半と少しが経ちました．はじめのはじめは軽い気持ちで書きはじめたコードでしたが，今では一線級の研究を立派に支えるまでになりました．深層学習フレームワークの世界も当時とは様変わりして（当時は TensorFlow も PyTorch もなかったわけですから，本当に変わりました），思えば遠くにきたものです． 今日，PFN は社内の研究開発に用いる主なフレームワークを PyTorch に移行すると発表しました．会社にとってももちろんですが，業務としてはこの 4 年半，Chainer 一筋でやってきた自分にとっては特に，大きな転換点です． まず率直な感想として，Chainer の開発は本当に楽しかったです．書きはじめた頃は，深層学習フレームワーク競争の真っ只中で，Theano の上に乗っかるフレームワー
Chainerの可視化・実験管理を支援するChainerUIを公開 | Preferred Research
Chainer上の実験中の学習ログの可視化や実験管理機能を追加するパッケージ、ChainerUIを公開しました。 GitHub ChainerUIは、多くのChainerユーザが持つ「学習中の実験ジョブの進捗を手軽に知りたい」、「複数の実験ジョブの手軽に管理したい」ニーズに応えるために開発しました。 具体的には、下記の機能を備えています。 学習ログの可視化 実験履歴閲覧 実行中の実験に対する操作 (スナップショット・学習ハイパーパラメーター修正) 本パッケージは、Chainerの学習用Trainerを監視するChainer extensionとして機能するものです。このChainer extensionを有効化した実験を、Webブラウザからリアルタイムで監視、制御することができます。複雑な依存関係がないため、Trainerを用いる既存の実験スクリプトに簡単に導入できます。 学習ログの可視化
Twitter社が発表した超解像ネットワークをchainerで再実装 - 人工言語処理入門
この記事は Chainer Advent Calendar 2016の18日目の記事です。昨日は@zacapa_23さんのPokemonGANでした。僕もDCGANを使って百合漫画の解析に活かそうとしたことがあるので、なんだか親近感がわきます。ちなみにこの記事もDCGANがらみです。 数年前にニューラルネットで超解像を行う研究が発表されてから、近年のディープラーニングブームの中で、特に企業の研究として(学習型一枚絵)超解像が発表されています。国内でも、特にイラストへの応用として、waifu2xという実装が注目を浴びたりしました。GitHub - nagadomi/waifu2x: Image Super-Resolution for Anime-Style Art さて、いくつかある論文の中で、今回はTwitter社が9月に公開したもの( Photo-Realistic Single Im
分散深層学習パッケージ ChainerMN 公開 - Preferred Networks Research & Development
Chainer にマルチノードでの分散学習機能を追加するパッケージ ChainerMN のベータ版を公開しました。 GitHub ドキュメント ChainerMN とは ChainerMN は Chainer の追加パッケージで、Chainer を用いた学習を分散処理により高速化できます。柔軟で直感的に利用できる Chainer の利便性をそのままに、学習時間を大幅に短縮できます。1 ノード内の複数の GPU を活用することも、複数のノードを活用することもできます。既存の学習コードから数行の変更で ChainerMN を利用可能です。ChainerMN は既に社内の複数のプロジェクトで実証が行われています。 Chainer を用いた通常の学習における 1 イテレーションは下図のように Forward, Backward, Optimize の 3 つのステップからなります。 Chainer
ChainerMN による分散深層学習の性能について - Preferred Networks Research & Development
米サンフランシスコで開催された「Deep Learning Summit 2017」にて、PFN は Chainer のマルチノードでの分散学習対応への取り組みについて発表しました。本記事では、その発表について詳しく説明していきます。 分散深層学習の重要性と現状 GPU の性能は継続的に向上していますが、より大きなデータを活用してより精度の高いモデルを実現するために、深層学習で使われるモデルのパラメータ数や計算量も増大しています。そのため、現在でも、Chainer を含む一般的なフレームワークを用いた標準的な学習では 1 週間以上かかってしまうようなユースケースが少なくありません。より大規模なデータを扱ったり、試行錯誤のイテレーションを効率化するために、複数の GPU を連携させ学習を高速化させることは重要な課題です。そこで、我々は Chainer にマルチノードでの分散学習の機能を追加す
線画着色webサービスPaintsChainerを公開した - Qiita
http://paintschainer.preferred.tech こちらに先月記事にした線画の着色のデモを公開しました！！ 反響の大きかった皆さんに試していただけます！！（ちょっと期待値が上がり過ぎてないといいですがｗ） http://qiita.com/taizan/items/cf77fd37ec3a0bef5d9d 以前の記事『初心者がchainerで線画着色してみた。わりとできた。』はこちら。 ⇓そしてこちらがもじゃくっきーさんの使用例になっております。 GPUを使っている関係上アクセスが集中したりすると遅くなったりサーバーが落ちたりする可能性もありますが、生暖かく見守っていただければと思います。←たくさんの方に広まったこともあって、めっちゃ重くなっています。ぐぬぬぬ 画面はこんな感じっす。 線画ファイルを選択するととりあえず自動で塗ってくれます。 ※ただし、現状ではgifや
初心者がchainerで線画着色してみた。わりとできた。
ﾃﾞｰﾌﾟﾗｰﾆﾝｸﾞはコモディティ化していてハンダ付けの方が付加価値高いといわれるﾋﾟ-FNで主に工作担当のtai2anです。 NHKで全国放送されたAmazon Picking Challengeでガムテべったべたのハンドやロボコン感満載の滑り台とかを工作してました。 とはいえ、やっぱりちょっとディープラーニングしてみたいので1,2か月前からchainerを勉強し始めました。 せっかくなので線画の着色をしたいなーと思って色々試してみました。 線画の着色は教師あり学習なので線画と着色済みの画像のデータセットが(できれば大量に)必要です。 今回はOpenCVでカラーの画像から線画を適当に抽出しています。 抽出例 → カラーの画像を集めて線画を作ればデータセットの完成です。（今回は６０万枚くらい使っています） ネットワークの形ですが、U-netという最初の方でコンボリューションする時の層の出
PFNの深層学習フレームワーク「Chainer」が大幅な高速化へ、分散処理に対応
Preferred Networks（PFN）が開発するディープラーニング（深層学習）フレームワーク「Chainer」が間もなく、分散処理に対応することで大幅に高速化する。PFNの西川徹社長が2017年1月26日（米国時間）に米サンフランシスコで開催された「Deep Learning Summit 2017」で明らかにした（写真1）。 現在のChainerは、マルチノード（複数サーバー）での学習に対応にしておらず、1台のノード上で複数のGPU（Graphics Processing Unit）を使用する場合も、どのGPUで何の処理を実行するのかをプログラマーが記述する必要があった。PFNはマルチノードでの学習に対応した分散バージョンのChainerを開発中で、社内ではテストも始めている。この分散バージョンのChainerでは設定を変更するだけで、マルチノード環境やマルチGPU環境に対応する
可変長ミニバッチを使ったChainerの系列学習の実装 - Qiita
はじめに Chainer 1.16.0 のリリースでNStepLSTMが実装されました。 NStepLSTMはその名のとおりLSTMの多層化が容易に実現できるモデルとなっています。 内部的にはcuDNNで最適化されたRNNが使われており、従来のLSTMに比べて高速に動作します。 さらにNStepLSTMではミニバッチのデータの長さをそろえる必要がなくなり、各サンプルをリストに入れたものをそのまま入力できるようになりました。 これまでのように-1でpaddingしてignore_label=-1とwhereを駆使したり、データの長さ順にソートしたリストを転置して入力したりという手順が不要になりました。 そこで今回はこのNStepLSTMを使って系列ラベリングの学習をしてみました。 従来のLSTMとのインタフェースの違い NStepLSTMはこれまでのLSTMと入出力が異なるので、今まで実装し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChainerでLSTMを使う (NStepLSTM, NStepBiLSTM) - Qiita
GitHub - nutszebra/gated_convolutional_networks: Implementation of gated convolutional networks by chainer (Language Modeling with Gated Convolutional Networks :https://arxiv.org/pdf/1612.08083v1.pdf)
GitHub - soskek/attention_is_all_you_need: Transformer of "Attention Is All You Need" (Vaswani et al. 2017) by Chainer.
『GitHub - soskek/efficient_softmax: BlackOut and Adaptive Softmax for language models by Chainer』へのコメント
https://github.com/pfnet-research/chainer-gan-lib/tree/master/progressive
GitHub - soskek/efficient_softmax: BlackOut and Adaptive Softmax for language models by Chainer
GitHub - chainer/chainerrl: ChainerRL is a deep reinforcement learning library built on top of Chainer.
GitHub - monthly-hack/chainer-doc2vec: A Chainer implementation of doc2vec
im132nd on Twitter: "Chainer 高速化テクニックとして、GPU メモリが余っている時は、cuDNN の workspace を chainer.cuda.set_max_workspace_size を使って多めに設定すると良いらしいです https://t.co/Pxhq980nib"
New Neural Network Building Block Allows Faster and More Accurate Text Understanding
