楽々スケール Digdag on GKE Autopilot の紹介とその運用Tips - ZOZO TECH BLOG
こんにちは、MA基盤チームの田島です。私達のチームでは複数のワークフローエンジンを利用し、メールやLINEなどへの配信を含むバッチ処理を行っていました。今回それらのワークフローエンジンをすべてDigdagに統一しました。そして実行環境としてGKEのAutopilot環境を選択したことにより、柔軟にスケールするバッチ処理基盤を実現しましたのでそれについて紹介します。 また、その中で得られた運用Tipsについても合わせて紹介します。 目次 目次 Digdag on GKE Autopilotの構成 Digdagの4つの役割 Worker Scheduler Web API Kubernetes Command Executor Workerでのタスク実行の問題 Command Executor Kubernetes Command Executorの利用 GKE Autopilot環境でのKu
digdag secrets を楽して環境変数にマップしたい - Qiita
out: type: bigquery auth_method: json_key json_keyfile: content: ${env.secret_gcp_credential} +task1: _env: secret_gcp_credential: ${secret:gcp.credential} secret_aws_access_key_id: ${secret:aws.access_key_id} secret_aws_secret_access_key: ${secret:aws.secret_access_key} sh>: embulk run embulk.yml.liquid +task1: _env: secret_gcp_credential: ${secret:gcp.credential} secret_aws_access_key_id: ${secr
Digdagで大きいパラメータを登録すると後続の処理が重くなる - Qiita
この記事はZOZOテクノロジーズ #5 Advent Calendar 2019 7日目の記事になります。 また、今年は全部で5つのAdvent Calendarが公開されています。 ZOZOテクノロジーズ #1 Advent Calendar 2019 ZOZOテクノロジーズ #2 Advent Calendar 2019 ZOZOテクノロジーズ #3 Advent Calendar 2019 ZOZOテクノロジーズ #4 Advent Calendar 2019 概要 Digdagのstoreパラメータに大きな値を入れたときに後続のジョブがすべて遅くなってしまうと言うことがあったので紹介します。 考えてみれば大きな値を毎回DBから取り出してDigdag側でパース等しているので重くなるのは当たり前なのですが。 そこで今回は実際にどんな感じで遅くなるのかを紹介します。また、その回方法を紹介
Embulk & Digdag Online Meetup 2020 イベントレポート | trocco®(トロッコ)
データを基にした論理的な意思決定をしていくことが、（ビジネスにおいて）非常に大事であることが、近年の共通認識になりました。これからは、クラウドやSaaSにデータを集めてきて解析する、という作業がデータサイエンスやデータエンジニアリングをする上で必要になっていくでしょう。さらにSaaS間のデータ統合も必要となり、これは10年前にはあり得なかった世界観です。 古橋氏：「SaaSのクラウドベースにあるデータをインテグレートしていくためにはEmbulkのプラグインAPIの活用することになります。しかしそのプラグインを書くためには、JavaのAPIが使えなければならないのですが、そうしたプラグインを書ける人は多くありません。 その一方で、『スクリプトなら書けます』『スクリプトとSDKがあってドキュメントがあれば書けます』というSaaSの設定をしてる人たちのほうが、圧倒的に人口は多くなります。そうなる
GitHub - civitaspo/digdag-plugin-scala-template: A digdag plugin template for scala implementations.
AutoScalingGroup を使って Digdag を冗長構成にした - Qiita
今までは EC2 を 1 台立てて、その中で Digdag サーバを立てて、上記全ての機能を担っていたが、それをやめて複数台の冗長構成にしたい REST API Server に関しては 1 台で、それ以外の Task Agent、Workflow Executor、Schedule Executor を行うサーバを冗長構成にする また、EC2 の AutoScalingGroup でオートスケール構成にする 割り込みタスクが即時実行されること（タスクのキュー待ちが発生しない） 現在、Digdag 上で毎時で約 450 タスクを起動するワークフローが実行されている 各々のタスクはすぐ終わるようなものではなく、キューから中々解放されない キューが溜まっている時に、割り込みタスクが入るとキューに残ったまま実行されないので、即時実行されるようにしたい 現在、Digdag サーバの起動オプションで
digdag + embulk でSaaSのレポートを検査する仕組みを作った話 - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）
こんにちは！SREセクションの林（@morihaya55）です。 本記事はOisix ra daichi Inc. Advent Calendar 2018の17日目の記事です。 昨日は@yymzkの社内でキーボードつくる会を企画した話でした。 同僚がキーボード沼に沈んでいくのを横から暖かく見守るのは気持ちが良いですね、どんどん沈んで欲しいです。 ちなみに私は無難に既製品のErgoDox EZを使っています。分割キーボードは肩が広がる感じが良いですね。 さて今回は digdag + embulk でSaaSのレポートを検査する仕組みを作った話 と題してつらつらと書きます。 やったこと 目的 正常時の件数確認を楽に行いたい 異常時の検知をしたい 対策を検討した どうやったのか digdag、embulkとは Python、pandasとは embulkのプラグインの豊富さが凄い コードのご紹
Seven Useful DigDag Tips and Tricks | Thejesh GN
DigDag is a pretty simple tool to install and run. There are quite a few tips and tricks that you can use to make your interaction productive. Here are my favourite ones. Setup DigDag Config DigDag command takes quite a few parameters. Instead of remembering to enter them every time, one can create a properties file. Its a standard Java properties file. You can have as many as you want with differ
Digdagサーバのworkflow executor・agent - Qiita
やりたいこと http://qiita.com/pilot/items/a49e6985f1c18aa37b5c で作成した2台構成のDigdagサーバについて digdag server helpで表示される以下のオプションがどういう意味があるか知りたい --disable-executor-loop disable workflow executor loop --disable-local-agent disable local task execution Digdag 0.8.18にて (0.8.22までは同様の結果であることを確認済) 結論 即時実行の場合、セッションの開始は当該リクエスト受付号機によって行われる スケジュール実行の場合、セッションの開始はschedulerによって行われる schedulerを止めるオプションはなさそう 複数サーバ稼働時、どの号機のschedu
digdagサーバをコンテナで動かしてジョブもコンテナで動かす際の設定例
はじめに この記事はMicroAd Advent Calendar 2017の1日目の記事です。 Digdagはジョブをコンテナで実行する事ができ、スケールが容易なワークフローエンジンです。 本エントリではそんなDigdagサーバ自体もコンテナで動かしながらジョブもコンテナで動かす際の設定やハマり所を紹介します。 使用ソフトウェアとバージョン digdag: 0.9.21 docker: 1.12.6 全体像 先にどんな感じの構成を実現しようとしているか、全体像を図示します。 _export: docker: image: python:3 +-------------+ | | | | +---+----+ +----v---+ | | | | docker run | digdag | | python | +---------> server | | (job) | | | | |
Digdag serverを入れた際の躓きポイント(CentOS7対応) - Qiita
数ヶ月前、Digdag serverを導入した。 これまではタスクの依存関係だけ解決できればいいよね、というスタンスでDigdagを使っていた。 が、タスクのモニタリングやRetry、並列処理をスムーズにやりたい等が重なりDigdag serverを使うことになった。 ついでにCentosが6だったので7にアップグレードしている。 自分が躓いた点について書いてみた。 DigdagをDaemon化するためのSystemd設定 [Unit] Description=digdag [Service] Type=simple PIDFile=/run/digdag.pid ExecStart=/bin/bash -l -c 'EMBULK_ROOT=/apps/ipros-embulk/current ~/bin/digdag server --max-task-threads 2 --confi
メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 | メルカリエンジニアリング
Mercari Advent Calendar 2017 の9日目はメルカリ SRE(Site Reliability Engineering) チームの @syu_cream がお送りします。 メルカリでは様々なデータを BigQuery に格納して、データ利用を可能にしています。 BigQuery に格納しているデータの具体例としては、 Web サーバや API サーバのアクセスログやアプリケーションのログ、 以前当ブログで紹介した Pascal のイベントログ などが挙げられます。 メルカリのデータ分析基盤に関する情報はこれまでに以下のようなブログやスライドで紹介しております。 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 fluent-agent-hydraで省エネログ転送 メルカリのデータ分析基盤 / me
DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する - ZOZO TECH BLOG
こんにちは、バックエンドエンジニアの塩崎です。 先日、会社の広報のためのインターン生紹介記事にメンターとして掲載していただきました。 大学四年生のインターン生と一緒に写真撮影を行ったのですが、見た目だけではどちらが年上かわからなかったので、「メンターの塩崎（右）」という表記をされてしまいました（笑） インターンでも実際のサービスに触れ、課題を解決！〜VASILY DEVELOPERS BLOGが公開されました〜 さて、VASILYではData WarehouseとしてGoogle BigQuery（BigQuery）を利用しています。 BigQuery内にはプロダクトのマスタデータとユーザーの行動ログが格納されています。 そして、それらに対する横断的なクエリを発行することでプロダクトの成長のためのKPIをモニタリングしています。 そのためAmazon Relational Database
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DigDagのrequireに変数を渡す方法メモ - Qiita
digdagでエラーを無視して後続タスクを進める - Qiita
Embulk & Digdag Meetup 2020
GitHub - DeNA/digdag-operator-bq-wait
digdag中心の生活
digdagで支えるデータパイプライン / Building a data pipeline with digdag
GitHub - IntimateMerger/dockerfile-digdag