GPUに比べて最大15倍高速な市販CPU向けのディープラーニングアルゴリズムが開発される
近年のAIは、人間が手を加えなくてもコンピューターが自動的に大量のデータからそのデータの特徴を発見する「ディープラーニング(深層学習)」という学習手法で動いています。このディープラーニングは、コンピューターゲームに代表されるリアルタイム画像処理に特化した演算装置・プロセッサであるGPUで処理されるというのが通例ですが、ライス大学のコンピューター科学者がIntelと共同で「GPUに比べて最大15倍も高速にディープラーニングできるCPU向けソフトウェア」を開発しました。 ACCELERATING SLIDE DEEP LEARNING ON MODERN CPUS:VECTORIZATION, QUANTIZATIONS, MEMORY OPTIMIZATIONS, AND MORE (PDFファイル)https://proceedings.mlsys.org/paper/2021/file/
深層学習に特化したプロセッサ、Cloud TPU の設計 | Google Cloud 公式ブログ
この投稿は米国時間 8 月 30 日に投稿されたもの（投稿はこちら）の抄訳です。 Posted by Google Cloud デベロッパーアドボケイト 佐藤一憲 Tensor Processing Unit (TPU) は、機械学習の計算処理のために Google がゼロから開発したカスタム LSI （ASIC）です。Google 翻訳、フォト、検索、そして Gmail 等の主要な Google サービスの運用を支える基盤技術です。Google Cloud では、機械学習を利用するエンジニアやデータサイエンティストに向けて、この TPU の能力をスケーラブルで使いやすいクラウドサービスとして提供する Cloud TPU を提供しています。今年 6 月にサンフランシスコで開催された Google Next ‘18 では、無償トライアルを含むすべてのユーザーに向けて Cloud TPU v
DNN推論用ライブラリ「Menoh」リリースについて - Preferred Networks Research & Development
Python以外も使いたくないですか？ 特にDeepLearning界隈で． Menoh開発者の岡田です．この記事ではMenohの紹介と開発に至った動機について説明します． Menohのレポジトリ： https://github.com/pfnet-research/menoh Menoh（メノウ）は学習済みのDNNモデルをONNX形式から読み込んで動作させる推論専用のライブラリです．実装はC++で書きましたが，C言語のインターフェースを持たせて，他の言語用からもその機能を呼び出しやすくしてあります．リリース時点でC++版ラッパーとC#版ラッパー，Haskell版ラッパーがあり，Ruby版ラッパーとNodeJS版ラッパー，Java（JVM）版ラッパーが開発中です．バックエンドにはIntelの開発しているMKL-DNNを採用し，GPUが無くてもIntel CPUが使える環境で高速にモデルの
西川善司の3DGE：囲碁でトッププロに勝利したDeepMindのAIは，「StarCraft II」でも人間に勝てるか？
西川善司の3DGE：囲碁でトッププロに勝利したDeepMindのAIは，「StarCraft II」でも人間に勝てるか？ ライター：西川善司 北米時間2018年3月26〜29日の会期で開催されたGPU Technology Conference 2018（以下，GTC 2018）では，とにかく機械学習ベースの人工知能（Artificial Intelligence，以下 AI）に関するセッションが多かった。 GTC 2018で支配的だったのは自動運転関連だが，機械学習ベースのAIをゲームに応用するセッションもいくつかあり，なかでも個人的に興味を惹かれたのとしては，DeepMindによるセッション「StarCraft II as an Environment for Artificial Intelligence Research」（AI研究開発環境としてのStarCraft II）が挙げら
MANABIYA でお話する資料
今週末、MANABIYA というイベントでお話させてもらう予定です。話したいことを筋道立てて並べたら結構濃くなってしまったので、とりあえず事前に公開しておきます。タイトルは『AI系技術の一般化でデータベースに求められること』 です。 『AI』という言葉はAI系以外の人にとってとても曖昧で、具体的モノづくりの現場で出てくると困ってしまうわけですが、ちゃんと整理して取り扱い、適切な道具と組み合わせたら面白くなるのではないか。という話（のつもり）です。 内容が多いので、とりあえず話すことは全部、後から読んでも解るように読み物として作っていたら、逆に これを読めば当日来なくても大丈夫になってしまったかも知れないです。 :-) 話したいことや商談などありましたら、登壇当日は会場のどこかに居ると思いますので。
米国AMD社製GPUベースのDeep Learningクラウドをローンチ
米国AMD社製GPUベースのDeep Learningクラウドをローンチ 第二弾 NVIDIA社製GPUを搭載したビギナー、予測・推論向けの低価格クラウドを発表 2018年3月1日：米国スタートアップ Pegara, Inc.(読み：ペガラインク、本社：米国デラウェア州、共同創業者兼CEO：市原 俊亮)は、米国AMD社製GPUベースのDeep Learningクラウドを同社クラウドサービスであるGPU EATER( https://gpueater.com/ )を通じて正式に提供開始します。また、第二弾としてNVIDIA社製GPUを搭載した予測・推論およびビギナー向けの低価格クラウドを2018年4月1日から開始することを発表し、本日より先行予約を受付開始します。 画面キャプチャ Amazon Web Services(以降、AWS)を始めとする大手クラウド各社はDeep Learningの
異常検知ナイト（エンジニア向け）
異常検知ナイト！ 2017年頂戴した技術的質問の中でとても多かったものが、異常検知でございました。懇親会で研究者が質問攻めに会い、懇親会が終われない！ということもございました。異常検知の問題をいかに解くかは情報も限られ、教師無し学習、元になるデータ補正、等々様々な難しさがあります。しかし、やりたい人が多い。それならば、一線の研究者、エンジニアを集めて、異常検知問題を如何に解くか情報を共有する会を開催することにしました。Deep Learning Lab 初のエンジニア向けイベントです。 ＜アンケートにご協力ください＞ ご視聴いただいた皆様からのご意見・ご要望をぜひお聞かせください！ アンケートサイトはこちら： http://aka.ms/dllab-survey/
機械学習ではじめるDocker - にほんごのれんしゅう
目次とお断り この資料をまとめるに当たって、実際に開発したり運用したりという経験のスニペットから、できるだけ編集して、自分なりに体系化したものです 様々な角度のデータが乱雑なっててわかりにくいかもしれませんが、ご了承いただけると幸いです "1. Dockerとは" "2. Dockerを用いるメリット" "3. docker.ioのインストール" "4. dockerでコンテナの起動" "5. 基本的な操作" "6. Dockerコンテナにsshdなどの必須ソフトウェアをインストールする" "7. dockerコンテナのexportとimport" "8. 機械学習ように調整したコンテナの利用" "9. 実際に使用している例" "10. Docker Hub連係" "11. Docker Compose" "12. Dockerのコンテナとホストマシン間でファイルの共有をする" "13.
NextremerをScale upする機械学習環境 Shiva - Qiita
Nextremer Advent Calendar 2017 3日目の記事です Nextremer ではお手軽にGPUマシンを利用できる Shiva という機械学習の開発環境を構築しています 今回はその Shiva の開発に至った経緯とその仕組みをご紹介します Shiva の開発にあたっては、昨年RettyのCTO樽石さんが公開された Retty流『2200万ユーザを支える機械学習基盤』の作り方 を大いに参考にさせて頂きました このような貴重なノウハウを公開されていることは本当に素晴らしいですし、この記事がなければ私が Shiva を開発することはなかったです そんな樽石さん、Rettyさんへの尊敬と感謝の思いを込めて、Nextremerの Shiva についてのノウハウを公開します！ Shiva 開発に至った経緯 Nextremer の研究開発PJでは深層学習を利用した自然言語処理、強化
機械学習を勉強するときはDockerを使うと便利 - あさのひとりごと
いまお仕事の関係で、機械学習の教科書的な書籍を読んだりオンライン講座を受講したりしながらサンプルやチュートリアルを動かして勉強しています。 機械学習を勉強するときは、Pythonの環境を構築し、JupyterNotebookを使って、実際に手と頭を動かしながら行うのが効率的です。が、アルゴリズムの理論そのものの理解がすでにしんどい上、過学習対策のための正則化、汎化性能の評価、クロスバリデーション、不均衡データや少ないデータはどうすればいいか、などなどいちいち難しいことを数多く勉強しなければなりません。 その上、、、、機械学習での学習は、1度やれば終わり！ではなく、パラメータチューニングしたり、データを増やしたり加工したりしながら、繰り返しなんども行う必要があります。一見ビジネス寄り＆アカデミックな雰囲気を醸し出していますが、実際のところは、非常に泥臭い作業のオンパレードです。 が、、、、、
Amazon RekognitionでTwitterから有名人の不適切な画像を収集する | DevelopersIO
乗るしかない、このビッグウェーブに。 はじめに 本日Amazon RekognitionにCelebrity Recognition(有名人認識)が追加されました。 [新機能] Amazon RekognitionでCelebrity Recognition(有名人認識機能)が出来るようになりました！ そして先日、僕はこんなブログを書きました。 Amazon RekognitionのImage Moderationを活用してTwitterの不適切な画像を収集する つまりそういうことです。 やってみた Image Moderationによって不適切と判断されたものがCelebrityであれば保存します。 スクリプト本体はAWS SDK for Goを使用しました。新機能を使う前に最新版を取得しておきます。 $ go get -u github.com/aws/aws-sdk-go/ また、T
趣味でディープラーニングするための GPU 環境を安上がりに作る方法 - Qiita
趣味でディープラーニングで遊ぶために GPU マシンを使いたい。 GPU は本当にすごくて、自分の MacBook Air で 2 時間かかるような学習が GPU を使うと 5 分足らずで終わる。CPU だけでディープラーニングするのは馬鹿馬鹿しいという気持ちになる。 しかし自宅に GPU マシンを組んだとしても四六時中計算し続けるわけでもないからもったいないし、ここはクラウドサービスを活用して安く済ませたい。1 さらに、最近では Docker コンテナ内から GPU を利用することができる NVIDIA Docker という Docker プラグインがあり、これを利用することで GPU マシンの環境を汚すことなく好きなだけ学習環境を立ち上げることができる。 今回は Amazon EC2 の GPU インスタンスと NVIDIA Docker を使って趣味用のディープラーニング環境を作った
はじめるDeep learning - Qiita
そうだ、Deep learningをやろう。そんなあなたへ送る解説記事です。 そう言いながらも私自身勉強しながら書いているので誤記や勘違いなどがあるかもしれません。もし見つけたらご連絡ください。 Deep learningとは こちらのスライドがとてもよくまとまっています。 Deep learning つまるところ、Deep learningの特徴は「特徴の抽出までやってくれる」という点に尽きると思います。 例えば相撲取りを判定するモデルを構築するとしたら、普通は「腰回りサイズ」「マゲの有無」「和装か否か」といった特徴を定義して、それを元にモデルを構築することになります。ちょうど関数の引数を決めるようなイメージです。 ところが、Deep learningではこの特徴抽出もモデルにやらせてしまいます。というか、そのために多層、つまりDeepになっています。 具体的には頭のあたりの特徴、腰のあ
#機械学習名古屋 勉強会用の Dockerイメージ 解説 - Qiita
はじめに この記事は、毎月開催（2017/04/17(月) に初回開催）の 機械学習 名古屋 分科会「ゼロから作る Deep Learning 読書会＋ハンズオン」 に向けて、参加者の開発環境を統一するために作成した Dockerイメージ の説明と、作り方の解説をまとめたものです。 前半は、主に勉強会参加者向けの Dockerイメージ の使い方の説明です。 後半は、この Dockerイメージ を作るにあたって気付いた点・工夫した点等の技術解説です。 【2017/05/19 Docker イメージ更新に伴い内容を加筆・修正しています】 Dockerイメージの使い方 前提 当たり前ですが Docker がインストールされている必要があります。 この記事では、Docker について・Docker のインストールについて等、深く解説しません。以下の各リンク先を参照してください。 Docker Co
Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた2 マルチホスト編 - Qiita
以前、Dist-kerasをDockerに載せてスケーラブルなディープラーニングを作ってみました。 http://qiita.com/cvusk/items/3e6c3bade8c0e1c0d9bf 当時の反省点はパフォーマンスが出なかったことですが、よく見直したらパラメータの設定が間違っていたようです。 そこで反省がてら、いろいろ試してみました。 前回までのあらすじ Dist-Keras自体の説明は以前の投稿をご参照いただきたいのですが、要はSparkクラスター上で動作するKerasです。 私はこれをDockerイメージにして、スケールアウトを簡単にできるようにしてみました。 なお、DockerfileはGitHubで公開しています。 https://github.com/shibuiwilliam/distkeras-docker 今回やること 今回はDist-Keras on Doc
ECSでGPUを扱うためのAMI作成 by Amazon Linux Deep Learning AMI - Qiita
結論 ここ見れば一発だった http://docs.aws.amazon.com/ja_jp/batch/latest/userguide/batch-gpu-ami.html 概要 scriptとかは変更があるかもしれないので転記しません。上記URLを参照してください。 以下の項番は上記URLの番号と合わせています。 Amazon Linux Deep Learning AMIを起動する 強いて言うならp2で立ち上げた方が楽しい でも高いからSpotInstanceを使おう。マーケットプレイスの画面から進むとSpotInstanceが選択出来た SSHで接続する URL内のconfigure-gpu.shを作成する configure-gpu.shを実行する（結構待つ） Dockerコンテナを実行して、インストールされているドライバにアクセスできることを確認する（以下のような結果が出力さ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
セキュリティ診断・検査のGMOサイバーセキュリティ byイエラエ
Shiva 〜Nextremerをscale upする機械学習環境〜
https://qiita.com/Dr_ASA/items/14901441e9845c32f28b
GitHub - luanfujun/deep-photo-styletransfer: Code and data for paper "Deep Photo Style Transfer": https://arxiv.org/abs/1703.07511
