Dataflow の Day 2 Operation ベタープラクティス
Google Cloud Japan の RyuSA です。👋 最近「 Pub/Sub からイベントとデータを引っ張って BigQuery に投げ込みたい」「 Cloud Spanner の変更ストリームを BigQuery に配置し、データを分析に使いたい」など、様々な用途で大量なデータの処理のために Dataflow を利用いただいているのを観測しています。👀 さて、巨大な分散処理をマネージドで実行してくれる便利な Dataflow ですが、運用する上でいくつか気を付けないといけないことがあります。そしてそれらの多くは「問題が発生してから」発覚することが多いです。この記事では「 Dataflowジョブの運用に関しての FAQ やよくある問題」に対する回答をまとめておきました。 監視 / 可観測性 Q: ジョブのログベースの監視のベストプラクティスをおしえて！ A. ログベース監視を
Cloud Dataflow for Java 雑多なノウハウ集 - 実装編 - Qiita
Google Cloud Dataflow に触る機会があったのですが、いまいちドキュメントが薄く、また自分が分散処理フレームワーク未経験だった事もあり、いろいろハマったので、得られた知見を書いておきます。 本記事は実装編ということで、Dataflow パイプラインのコードを書くに当たっての知見をまとめます。 なお Cloud Dataflow は Apache Beam の実行環境の1つという位置付けです。以下の内容は特に明記していない限り Apache Beam にも当てはまります。 確認した環境は Apache Beam SDK for Java 2.13.0 です。 想定読者は、Beam 関連のドキュメント、特に Beam Programming Guide を読んだことのある方、です。 Window FixedWindows や SlidingWindows の期間はキリが良い時
KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 | メルカリエンジニアリング
メルカリのバックエンドを支える SRE(Site Reliability Engineering) チームに最近加わりました @syu_cream です。 本記事では KPI に関わる数値を計算してレポートを生成する集計システムの刷新に取り組んでいる話を紹介します。 現在は刷新の途中であり、集計項目ベースでいうと 1/3 ほどの実装が済み、現行システムと刷新後のシステムの一部を並行稼動させている状態です。 背景 メルカリではアプリケーションのログファイルやデータベースから、 DAU(Daily Active Users) などの KPI に関する様々な数値を集計するためのシステムを稼働させています。 この集計システムは毎日 Slack やメールにて KPI のサマリーレポートを送信し、全社員が数値を閲覧し、日々プロダクトの傾向を意識することを可能にしています。 集計システムの動作イメージは
Cloud Dataflow PythonSDKによるビッグデータ処理実装応用 - オールアバウトTech Blog
Cloud Dataflow オールアバウトシステム部開発Gの@tajima_tasoです。 前々回、Cloud Dataflow PythonSDKによるビッグデータ処理実装入門の記事にてPythonのSDKを使用したDataflowの基礎についてご紹介しましたが、今回はGCPの他のサービスとも連携した応用方法をご紹介します。 GCPの中でも、GCSについては既に基礎編でご紹介したので、応用編ではBigQuery、Datastore、そしてそれらのデータを処理するのに便利な機能についてご紹介します。 情報量が多くて途中混乱するかもしれませんが、最も大事なことはデータの入力、変換、結果の出力と保存にフォーカスすることです。手段に気を取られて目的を見失わないようにすることが何事も大事です。 SDKのアップデート方法 本題に入る前にSDKのアップデートを行いましょう。前回の記事執筆時の最新のS
Cloud Dataflow PythonSDKによるビッグデータ処理実装入門 - オールアバウトTech Blog
Cloud Dataflow オールアバウトシステム部開発Gの@tajima_tasoです。 前回、Google Cloud Platformをフル活用してNo-Opsでビッグデータ処理基盤を構築したの記事にて弊社がGCP上のサービスを利用して、No-Opsでのシステム基盤促進に取り組んでいるとご紹介させて頂きましたが、今回はその中のCloud Dataflowについてご紹介させて頂きます。 Cloud Dataflowの基礎 Cloud Dataflowを利用する為にはSDKを使用します。利用できるプログラミング言語としてはJavaとPythonがありますが、私のチームではDataflow SDK for Pythonを利用して、DataFlowでの処理を行っています。 なお、以下の説明では、公式ドキュメントの内容が十分な箇所については極力省略させて頂いておりますので、必要に応じて公式ド
PythonでApache Beamを触ってみる - Qiita
Python 2.7でApache Beamを触ってみる Apache BeamはGoogleが自身のクラウドサービスDataflowの中で使っているフレームワーク。 バッチ処理もストリーミング処理も同じ書き方ができるというのが売り。 今回はPythonでミニマムなプログラムを書いて実行してみた。 Apache Beamインストール前提 前提はPython 2.7。 Python 3系しかない人やもともとPythonを使っていない人は、Pythonの環境を用意します。 私はPython 3系のconda環境だけだったので、conda installでpython2.7環境を作りました。参考：Python2, Python3 を切り替えて jupyter notebook を使う Virtualenvを用いたインストール方法はBeam本家ドキュメント通り。 Apache Beam Pytho
Google Cloud Dataflow ってなんだ？ - Qiita
株式会社WACUL、CTOの包です。 会社のみんなでパンを作ったりカレーを作ったり映画をみたりと楽しい日々を過ごしてます。 ここ最近、Google Cloud Dataflow をいじってみているので、入門したメモとして、整理してみました。 これから触ってみようとする人が最初に読んで、ざっくり概要を理解する助けになればと思います。 ストリーミングやバッチ処理に深い専門知識があるわけではないので、間違ったことを言っていたら教えていただけるとうれしいです。 この記事を読んでわかること Google Cloud Dataflow のだいたいの概要と目指している世界感 だいたいのコードの雰囲気 概要を知った上で次に読むべき参考資料 この記事を読んでもわからないこと Dataflow 上でコードを書いていくときの具体的な知見 運用上のの知見 まずは参考資料 これまでに読んだ Google Cloud
[Google Cloud Platform] Cloud Dataflowでフルマネージドなデータ処理を試してみた | AI tech studio
2016.11.8 [Google Cloud Platform] Cloud Dataflowでフルマネージドなデータ処理を試してみた アドテクスタジオの佐々木です。 アドテクスタジオではデータ処理に力をいれておりOpenStack Sahara等を利用して共通基盤を構築しています。 今回はGoogle Cloud Platform が提供しているデータ処理のサービスのひとつである Cloud Dataflow についてみていきたいと思います。 Cloud Dataflow とは Cloud Dataflow の説明は「ビッグデータのバッチおよびストリーミング処理を実現するフルマネージドのクラウドサービス。」となっています。 Google Cloud Platform にはCloud Dataflowとは別にSpark と Hadoop のマネージドサービスである Cloud Datap
![[Google Cloud Platform] Cloud Dataflowでフルマネージドなデータ処理を試してみた | AI tech studio](https://cdn-ak-scissors.b.st-hatena.com/image/square/fc5b5089ab0490d1d97166253fb9d6187164f1a5/height=288;version=1;width=512/https%3A%2F%2Fcyberagent.ai%2Fwp-content%2Fuploads%2F2016%2F10%2FUntitled-2.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ScalaでつくるCloud Dataflowテンプレート - Qiita
Dataflow SQL を使用する | Google Cloud