[B! Deep Learning] wushiのブックマーク

KerasとKubernetesによるディープラーニングの並列学習 - Qiita

KerasがCNTKに対応したことは以前書きました。 CentOSからKeras with CNTK backendを動かすこれでKerasはTheano、TensorFlow、CNTKをバックエンドにして、同じプログラムで違うフレームワークを使うことができるようになりました。 Kerasのバックエンドが増える利点は、環境変数を変更するだけでフレームワークを入れ換えて学習することができる点だと思います。フレームワークを変えても、プログラムが同じであればニューラルネットワークのモデル自体は（たぶん）変わりませんが、精度やスピードが多少変わったりします。または、各フレームワークで学習したモデルをアンサンブルして推論するということも可能です。複数フレームワークのアンサンブルを思いついたので、実際にやってみました。プログラムやKubernetesのymlは以下にあります。 https:/

wushi 2017/08/13

Deep Learning

リンク

OSSベースの機械学習が強い理由

英語版はこちら。 TensorFlowの登場以降、OSSベースの機械学習の盛り上がりは加速しています。Kerasの作者のFrançois Cholletさんの言葉が、この状況を非常に端的に表しています。これだけでも十分だとは思いますが、この記事では、なぜオープンソースの機械学習が強いのか、最近のどういった流れがあるのかを整理したいと思います。 tl;dr機械学習やDeep Learningのフレームワークが充実してきた論文が査読前に公開され、他社も簡単にアルゴリズムの検証ができるようになった多くのプレーヤーの参戦により、アカデミアでの機械学習の研究がレッドオーシャン化した他社にないアルゴリズムで一発勝負、実装は秘密、というアプローチが厳しい牧歌的な時代5年前10年前の世界では、先端の機械学習に取り組んでいるのは大学などの研究室、大企業の研究所や一部の先進的な企業がほとんどでした。特に、ラベ

wushi 2017/08/04

リンク

DeepMindが自然言語理解の２難題を解決した - mabonki0725の日記

ランニングできず　英語30分 The Boune Leagacy (1) DeepMindの自然言語を理解するUNREALモデルの論文を読み、深い感動を覚える。このモデルは自然言語理解に於ける２つの懸案事項を解決している。・計算機が言語を教える事を可能にした。言語理解で正解すれば計算機がエージェントに報酬を与えることで、数十万の繰り返し学習を可能にした。従来は人間が計算機に教えるしかなく、試行回数の壁があった。・複雑な文章理解では、単純な文章学習を経ていけば可能になることを実証した DeepMindの証明したかったことは以上の3点である・言語理解を解明するには、人間の環境に似た３要素の模擬環境が必要・動作できるエージェント・エージェントが存在する３D環境・報酬と罰則・言語学習には相当な繰り返しが必要・複雑理解では適切な学習手順が必要

wushi 2017/07/09

リンク

自然言語処理における前処理の種類とその威力 - Qiita

自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグや JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。前処理の種類と実装この節では以下に示す5つ

wushi 2017/04/17

リンク

富士通、少数データで効率よく学習できる深層学習技術--中国古文書文字で成果

富士通研究開発中心（FRDC）は2月21日、中国古文書文字の文字認識において、少数の学習データでも高精度な文字認識を実現する深層学習技術を開発したと発表した。同技術は、古文書の文字画像と文字を紐づけたデータ（教師データ）で学習させる深層学習の認識エンジンと、文字とは紐づけられていない2つの文字画像が、同じ文字かどうか特徴を学習する深層学習エンジンを組み合わせたもの。一文字当たり約70％少ない教師データ数で、従来技術と同じ精度の認識率を達成したという。深層学習技術による文字認識では、あらかじめ文字画像と正解の文字を紐づけた教師データを用いて認識エンジンに学習させる。この時、教師データの数が多いほど認識精度が高くなるが、多様な書体があり同じ文字でも異なる字形が多数存在する中国古文書では、十分な数の教師データを用意することに課題があった。今回の技術では、学習データを増やすため、正解の文字と

wushi 2017/02/22

リンク

さくらインターネット、「高火力コンピューティング」実現へ　大規模GPUクラスタ構築、ディープラーニングなど向けに提供

さくらインターネット、「高火力コンピューティング」実現へ　大規模GPUクラスタ構築、ディープラーニングなど向けに提供さくらインターネットは1月26日、「高火力コンピューティング」をコンセプトとした、演算能力に特化したサービスへの取り組みを始めると発表した。ディープラーニング（深層学習）や人工知能研究など向けに、高性能なコンピューティングリソースの提供を計画。夏ごろの正式サービス提供を目指す。第1歩としてベンチャー企業・Preferred Networksと共同で、Infinibandをインターコネクトに採用した大規模なGPUクラスタを昨秋から構築し、実運用してきた。今後、本構築を進める。ディープラーニングや人工知能研究など、大量の計算資源を必要とする技術分野への注目が高まっている。ただ、同社によると現在普及しているクラウドコンピューティングは「仮想化と共有によりハードウェアのピーク性