[B! dataflow] muddydixonのブックマーク

Cloud Dataflow(Python)でXGBoostを動かす - Qiita

前回の記事に引き続きCloud Dataflowで機械学習パイプラインを動かす手順の備忘録。やりたいこと前回はCloud Dataflowで使われるノードにプリインストールされていたscikit-learnとpandasを使って機械学習を行いましたが、実際の機械学習のパイプラインではOpenCVなど前処理加工するライブラリを入れたり、好きな機械学習ライブラリをインストールして分析してみたくなると思います。今回はCloud Dataflowへの任意ライブラリのインストール手順の例としてKaggleでも人気のXGBoostをインストールして動かす方法を書いていきたいと思います。 Dataflowへのライブラリのインストール手段 Cloud Dataflow(Python)で好きなライブラリをインストールする手段としては公式ドキュメントにあるとおり、大きく以下3つの手段があるようです。 P

muddydixon 2018/01/11

リンク

Google Cloud Dataflowを試してみた - Qiita

Google Cloud Dataflowがpublic betaになってから試してみたいと思っていたので、ようやく試してみることにした。Google Cloud Dataflowが何なのか知りたい時は次のスライドを読むと良い。 Google Cloud Dataflow を理解する - #bq_sushi 必要なもの Google Cloud Platformのアカウント Java 8 Maven Java 7では動かなかった気がするので、Java 8をあらかじめダウンロードしておこう。MavenはMac環境であればHomebrewでインストールできる。 Dataflow APIを有効にするあらかじめDataflow APIをGCPのコンソールから有効にしておこう。コンソールのUIが変わっててちょっとびびったけど、検索できるので簡単に見つかる。 Dataflow SDK for Jav

muddydixon 2017/07/26

リンク

Cloud Dataflow 超入門 - Qiita

これはGCPUG Beginners Tokyo #3 のハンズオン資料です。このスライドはQiitaにあります bit.ly/dataflow-ho Google Cloud Dataflowとはデータ処理を簡単にやってくれるワーカーのワークロードバランスを勝手にとってくれる GCEで動いてるので何でもできる Datalab (Jupyter) 上からdeployできる！簡単に言うとMapReduceのスーパーイケてる版チュートリアル用リポジトリ git clone https://github.com/hayatoy/dataflow-tutorial.git 事前準備 Google Cloud Platform の課金設定 Dataflow APIの有効化 GCSのBucketを作る BigQueryにtestdatasetというデータセットを作る Project名を変更し

muddydixon 2017/07/26

リンク

Google Cloud Dataflow ってなんだ？ - Qiita

株式会社WACUL、CTOの包です。会社のみんなでパンを作ったりカレーを作ったり映画をみたりと楽しい日々を過ごしてます。ここ最近、Google Cloud Dataflow をいじってみているので、入門したメモとして、整理してみました。これから触ってみようとする人が最初に読んで、ざっくり概要を理解する助けになればと思います。ストリーミングやバッチ処理に深い専門知識があるわけではないので、間違ったことを言っていたら教えていただけるとうれしいです。この記事を読んでわかること Google Cloud Dataflow のだいたいの概要と目指している世界感だいたいのコードの雰囲気概要を知った上で次に読むべき参考資料この記事を読んでもわからないこと Dataflow 上でコードを書いていくときの具体的な知見運用上のの知見まずは参考資料これまでに読んだ Google Cloud