Cloud Dataflow PythonSDKによるビッグデータ処理実装応用 - オールアバウトTech Blog
Cloud Dataflow オールアバウトシステム部開発Gの@tajima_tasoです。 前々回、Cloud Dataflow PythonSDKによるビッグデータ処理実装入門の記事にてPythonのSDKを使用したDataflowの基礎についてご紹介しましたが、今回はGCPの他のサービスとも連携した応用方法をご紹介します。 GCPの中でも、GCSについては既に基礎編でご紹介したので、応用編ではBigQuery、Datastore、そしてそれらのデータを処理するのに便利な機能についてご紹介します。 情報量が多くて途中混乱するかもしれませんが、最も大事なことはデータの入力、変換、結果の出力と保存にフォーカスすることです。手段に気を取られて目的を見失わないようにすることが何事も大事です。 SDKのアップデート方法 本題に入る前にSDKのアップデートを行いましょう。前回の記事執筆時の最新のS
Cloud Dataflow PythonSDKによるビッグデータ処理実装入門 - オールアバウトTech Blog
Cloud Dataflow オールアバウトシステム部開発Gの@tajima_tasoです。 前回、Google Cloud Platformをフル活用してNo-Opsでビッグデータ処理基盤を構築したの記事にて弊社がGCP上のサービスを利用して、No-Opsでのシステム基盤促進に取り組んでいるとご紹介させて頂きましたが、今回はその中のCloud Dataflowについてご紹介させて頂きます。 Cloud Dataflowの基礎 Cloud Dataflowを利用する為にはSDKを使用します。利用できるプログラミング言語としてはJavaとPythonがありますが、私のチームではDataflow SDK for Pythonを利用して、DataFlowでの処理を行っています。 なお、以下の説明では、公式ドキュメントの内容が十分な箇所については極力省略させて頂いておりますので、必要に応じて公式ド
PythonでApache Beamを触ってみる - Qiita
Python 2.7でApache Beamを触ってみる Apache BeamはGoogleが自身のクラウドサービスDataflowの中で使っているフレームワーク。 バッチ処理もストリーミング処理も同じ書き方ができるというのが売り。 今回はPythonでミニマムなプログラムを書いて実行してみた。 Apache Beamインストール前提 前提はPython 2.7。 Python 3系しかない人やもともとPythonを使っていない人は、Pythonの環境を用意します。 私はPython 3系のconda環境だけだったので、conda installでpython2.7環境を作りました。参考：Python2, Python3 を切り替えて jupyter notebook を使う Virtualenvを用いたインストール方法はBeam本家ドキュメント通り。 Apache Beam Pytho
分散ストリーム処理エンジンあれこれ - Qiita
分散ストリーム処理エンジンの群雄割拠の時代 ストリーム処理を実現する分散プラットフォームが、大分増えました。 何が良いか／悪いかは、プラットフォームに求める内容や、関連するエコシステムにも影響するため、一概には言えないですが、Apacheで提供されているOSSとして、情報をまとめたものがあったので、ポイントをまとめたいと思います。 AN OVERVIEW OF APACHE STREAMING TECHNOLOGIES https://databaseline.wordpress.com/2016/03/12/an-overview-of-apache-streaming-technologies/ 特長 ストリーム処理といっても、位置づけが異なるものも一緒くたに書かれているので、位置づけを分類しながら、特長を整理してみます。 データ収集系 ログやイベントを収集するようなタイプ。 Flum
Google Cloud Dataflow ってなんだ？ - Qiita
株式会社WACUL、CTOの包です。 会社のみんなでパンを作ったりカレーを作ったり映画をみたりと楽しい日々を過ごしてます。 ここ最近、Google Cloud Dataflow をいじってみているので、入門したメモとして、整理してみました。 これから触ってみようとする人が最初に読んで、ざっくり概要を理解する助けになればと思います。 ストリーミングやバッチ処理に深い専門知識があるわけではないので、間違ったことを言っていたら教えていただけるとうれしいです。 この記事を読んでわかること Google Cloud Dataflow のだいたいの概要と目指している世界感 だいたいのコードの雰囲気 概要を知った上で次に読むべき参考資料 この記事を読んでもわからないこと Dataflow 上でコードを書いていくときの具体的な知見 運用上のの知見 まずは参考資料 これまでに読んだ Google Cloud
[Google Cloud Platform] Cloud Dataflowでフルマネージドなデータ処理を試してみた | AI tech studio
2016.11.8 [Google Cloud Platform] Cloud Dataflowでフルマネージドなデータ処理を試してみた アドテクスタジオの佐々木です。 アドテクスタジオではデータ処理に力をいれておりOpenStack Sahara等を利用して共通基盤を構築しています。 今回はGoogle Cloud Platform が提供しているデータ処理のサービスのひとつである Cloud Dataflow についてみていきたいと思います。 Cloud Dataflow とは Cloud Dataflow の説明は「ビッグデータのバッチおよびストリーミング処理を実現するフルマネージドのクラウドサービス。」となっています。 Google Cloud Platform にはCloud Dataflowとは別にSpark と Hadoop のマネージドサービスである Cloud Datap
![[Google Cloud Platform] Cloud Dataflowでフルマネージドなデータ処理を試してみた | AI tech studio](https://cdn-ak-scissors.b.st-hatena.com/image/square/fc5b5089ab0490d1d97166253fb9d6187164f1a5/height=288;version=1;width=512/https%3A%2F%2Fcyberagent.ai%2Fwp-content%2Fuploads%2F2016%2F10%2FUntitled-2.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ビッグデータガバナンスとメタデータ管理を成功させるためのTalendの5本の柱 - Talend Real-Time Open Source Data Integration Software