Youngbin Kim et al. 「Serverless Data Analytics with Flint」 - データが主食
ktr89.hateblo.jp に関連して、サーバーレスでビッグデータ処理しているような事例を調べたら、他にも論文が出てきたので読んでみました。 Hadoopクラスターを自前で用意する時代は終わりを迎えていて、AWS LambdaやGoogle Cloud FunctionなどのFunction as a Serviceでビッグデータ処理をするような事例も近いうちに出てくるかもしれません。 arxiv.org Author AuthorのYoungbin KimはLinkedInによるとカナダのWaterloo大学のTeaching Assistantの方のようです。 共著のJimmy Linはhttps://cs.uwaterloo.ca/~jimmylin/によるとWaterloo大学の教授のようです。 彼らの課題感 Ecri Jonas et al.「Occupy the Clou
分散深層学習を支える技術：AllReduceアルゴリズム - Preferred Networks Research & Development
本記事は、2017年インターンシップを経て現在はアルバイトとして勤務されている上野さんによる寄稿です 数式が正しく表示されない場合は、こちらのリンクから再読込をお試しください。 みなさんはじめまして。Preferred Networksの2017夏季インターンに参加し、現在アルバイトをしている上野裕一郎です。普段は東京工業大学でHigh-Performance Computingに関する研究を行っており、分散・並列計算に興味があります。 今回は、分散深層学習を行う際に使用されるAllReduceという通信パターンについて調査・実装・評価を行いましたので、それについてご説明いたします。 分散深層学習とは 現在、ディープニューラルネットワークを用いた学習には長い時間がかかることが知られています。そして、様々な種類のモデルや、大量のデータを組み合わせて学習を試すためには、学習にかかる時間を短縮す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
modin.pandasのread_csvの速度計測してみた - データが主食