タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
こんにちは、エムスリー エンジニアリンググループ / 製薬企業向けプラットフォームチームの鳥山 (@to_lz1)です。 これは エムスリー Advent Calendar 2020 の19日目の記事です。 エムスリーでは現在、各システムのオンプレ環境からクラウドへの移行を急ピッチで進めているところです（勉強会の配信アーカイブをYouTubeでもご覧いただけます。公式テックチャンネルのご登録、ぜひお願いします!） これに関連して私のチームでも最近「データ基盤（Digdag + Embulk）のクラウド移行」を行ったため、そのときに考えたことや移行して良かったことを共有したいと思います。 エムスリーのデータ基盤について それまでの構成 クラウド環境でのアーキテクチャ DigdagとEmbulkの分離 Digdag on AWSからBigQueryを操作する 併せて行った改善（Sentryでの
This is a story about running digdag on Kuberentes to create a scalable workflow execution environment
digdag中心の生活
SRE を実践するためのプラットフォームの作り方と技術マネジメント / Building a Platform for SRE
EC2で運用している分析基盤(Digdag + Embulk)をECS/Fargateに移行しました | ランサーズ（Lancers）エンジニアブログ
SREチームの安達(@adachin0817)です。最近ではランサーズ本家のインフラをコンテナに移行しまくっております。今回ランサーズとMENTAで運用しているEC2/分析基盤サーバー(Digdag + Embulk)をECS/Fargateに移行完了しました。では早速概要と苦労した点、今後の展望などを振り返っていきたいと思います。 分析基盤の紹介 > ランサーズの分析基盤(capybara)と運用について紹介 > MENTAをAWSに移行しました ちなみに私が入社して3年経つのですが、運用して変わったことは3年前よりデータの量が膨大になっていることと、現在、社内の分析チームにとって欠かせないシステムとなっております。その中でDigdagによるスケジューラーとEmbulkによるマルチソースバルクデータローダーである分析基盤専用のEC2サーバーがあり、毎日夜中にデータをBigQuryにシンク
EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する - Koichi Ishida blog
目次 ワーカーノードの作成 DigdagとEmbulkのDockerビルド KubernetesにDigdag/Embulkをデプロイ Redashの導入 まとめ Kubernetes上に分析環境を構築する機会があったのでどのように構築したかを紹介します。同じような構成でKubernetes上で構築するのは3回目になったので構築方法も洗練されてきました。構成は以下のようになっています。 MySQL(RDS): サービスのデータベース。ここのテーブルからBigQueryにEmbulkでデータをエクスポートします。 PostgreSQL(RDS): Digdagのデータベース。今回新たにつくりました。 Digdag: データベースのエクスポートなどを実行するタスクスケジューラ。失敗したときにリトライもできます。 Embulk: プラグインを使ってデータベースをMySQLからBigQueryにエ
楽々スケール Digdag on GKE Autopilot の紹介とその運用Tips - ZOZO TECH BLOG
こんにちは、MA基盤チームの田島です。私達のチームでは複数のワークフローエンジンを利用し、メールやLINEなどへの配信を含むバッチ処理を行っていました。今回それらのワークフローエンジンをすべてDigdagに統一しました。そして実行環境としてGKEのAutopilot環境を選択したことにより、柔軟にスケールするバッチ処理基盤を実現しましたのでそれについて紹介します。 また、その中で得られた運用Tipsについても合わせて紹介します。 目次 目次 Digdag on GKE Autopilotの構成 Digdagの4つの役割 Worker Scheduler Web API Kubernetes Command Executor Workerでのタスク実行の問題 Command Executor Kubernetes Command Executorの利用 GKE Autopilot環境でのKu
Digdagバッチの基本設計とビルドの実例紹介 - MicroAd Developers Blog
サーバサイドエンジニアの大澤です。主にETL処理のバッチ開発を行っています。 以前の記事で紹介していますが、マイクロアドではバッチ処理のワークフローを主にDigdagを使用して管理しています。 今回は、Digdagを1年以上使ってきてたどり着いた構成について紹介したいと思います。 Digdagバッチ CI/CDの構成 GitHub Enterprise上のバッチを管理しているリポジトリの変化に応じてJenkinsがビルド、テスト、コードチェック、デプロイまで行うようになっています。 バッチはDigdagとDockerを使用して動作するように作っているので、DockerレジストリとDigdagサーバに成果物を登録します。 成果物は対象のブランチに応じて行き先が変化し、masterブランチの変更の場合本番用の環境へ、その他の場合開発用の環境にデプロイされます。 CIの内容はリポジトリ内のJen
株式会社 Gunosy Gunosy Tech Lab Data Reliability & MLOps Group 中山貴博 2019年7月31日 Digdag と Embulk と Athena で作る Gunosy の ELT基盤 （C） Gunosy Inc. All Rights Reserved. PAGE | 2 ■ 中山貴博 (@Civitaspo) ■ Gunosy Tech Lab Data Reliability & MLOps Group Manager ■ 経歴 – DeNA -> Gunosy (2017/10 ~) – Hadoop の運用や ETL全般 ■ Embulk/Digdag などの古橋ウェアが大好 き – Digdag Plugin公開数7個(総合1位) – Embulk Plugin公開数13個(総合3位) 自己紹介 （C） Gunosy Inc
こんにちは、theLetterの荻田です。 データ分析基盤を作る機会があり、拡張のしやすさ・現状のデータ量や仕様に合うか・予算問題などを考えた結果どう判断したのかという過程と実装を紹介します。 今後運用する上で出てきた改善点や課題などは半年後くらいに振り返りの記事を書こうと思います。 気になることがあれば気軽にDM(@kai_ogita)してください 一緒に技術選定から実装までゴリゴリやりたい人募集中です！ theLetter採用ページ About me サーバーサイドエンジニアの人 TreasureDataやBigqueryは本当に少し触ったことある ETLやデータ分析基盤などの知識は０ GCPよりAWSに触れてきた About theLetter theLetter はニュースレターメディアを誰もがつくれるプラットフォームで、現在はリリース数ヶ月で読者数15 万人を突破しており、初期フ
こちらは Gunosy Advent Calendar 2019、2日目の記事です。なお、昨日の記事はかとうさんのわかる Gunosy 2019でした。 qiita.com はじめに こんにちは、 Gunosy Tech Lab Data Reliability & MLOps Group の ｷｳﾞｨﾀｽﾎﾟ(人工知能) (@Civitaspo) / Twitter です。 昨年のAdvent Calendarでは公開したDigdag Pluginを淡々と紹介しました。 tech.gunosy.io 最近ではこれらのPluginを利用して90%ものコスト改善が行われるなど、社内で大活躍が見られています。 data.gunosy.io 皆さんも機会があれば是非利用してください！またフィードバックいただけるとありがたいです！ さて、この記事では昨年に引き続き新しく作ったDigdag Plug
こんにちは、エンジニアリンググループの福林 (@fukubaya) です。 現在、弊社では長年運用され続けているレポート基盤のリニューアルを昨年から続けています。 その一環で、エンジニアでない人も使えるレポート生成UIを実現するため、 DigdagとJenkinsを利用した仕組みを検討しました。 本記事ではその一例をご紹介します。 横浜赤レンガ倉庫は横浜港にある歴史的建築物。本文には特に関係ありません。 レポート生成UIとしてのJenkins 弊社では、客観的なデータに基づき意志決定することがエンジニアに限らず基本となっているため、 あらゆるサービスでデータの蓄積、分析、活用が日常的に行われています。 レポート生成処理は基本的にはスクリプト実行なので、実行もコマンド実行になりますが、 エンジニアでない人にコマンド実行でレポートを生成してもらうのは難しいです。 そこで、弊社ではJenkins
新しいアンケートシステムをつくった（Digdag・Embulk・BigQueryデータ同期編） - エムスリーテックブログ
「作れないものがない」アンケート作成システムを作成した、エムスリーエンジニアリンググループの岩本です。 今回は「新しいアンケートシステムをつくった（Goとシステム概要編）」のバッチ部分について説明します。 概要 アンケートシステムのIbisの内部表現として設問があります。例えば下記のように設問が定義されているとき 設問ID設問タイトルカラム名 1年齢age 2好きな食べ物favorite_food 分析時にTableauから参照するBigQueryでは、回答テーブルとして以下のように見えると処理しやすくなります。 回答番号agefavorite_food 137カレー 232スパゲッティ つまり、前回、滝安(@juntaki)が説明したとおりIbisで「設問の作成」を行うと、分析する際のカラムが1つ増えることになります。 縦持ちとなっている「設問」の情報を横持ちに変換し、BigQueryの
Embulk & Digdag Online Meetup 2020 イベントレポート | trocco®(トロッコ)
データを基にした論理的な意思決定をしていくことが、（ビジネスにおいて）非常に大事であることが、近年の共通認識になりました。これからは、クラウドやSaaSにデータを集めてきて解析する、という作業がデータサイエンスやデータエンジニアリングをする上で必要になっていくでしょう。さらにSaaS間のデータ統合も必要となり、これは10年前にはあり得なかった世界観です。 古橋氏：「SaaSのクラウドベースにあるデータをインテグレートしていくためにはEmbulkのプラグインAPIの活用することになります。しかしそのプラグインを書くためには、JavaのAPIが使えなければならないのですが、そうしたプラグインを書ける人は多くありません。 その一方で、『スクリプトなら書けます』『スクリプトとSDKがあってドキュメントがあれば書けます』というSaaSの設定をしてる人たちのほうが、圧倒的に人口は多くなります。そうなる
Embulk & Digdag Online Meetup 2020｜IT勉強会・イベントならTECH PLAY［テックプレイ］
概要 COVID-19の影響でキャンセルとなったEmbulk & Digdag Meetupですが、オンラインで実施することとなりました！ Arm Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを初開催します！ Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。 さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO TechnologiesとprimeNumber社の「troccoⓇ」開発チームの２社にも登壇いただき、EmbulkとDigdagの運用やプラグイン開発についてのディープなナレッジを共有します。 Youtube Live経由で配信します。https:
sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた | Democratizing Data
データリネージとは、DBなどでどのデータがどこから来てどこに行った、という「来歴」とも呼ばれる情報です。 自分がこの言葉を知ったのは、前職でCloudera Navigatorという製品を扱ったときにこの機能が実装されていることを知りました。 引き継いだ複雑なSQLなどのワークフローを渡されたときに、どういう流れになっているのかを可視化できるのがとても魅力でした。 Cloudera Navigatorのlineage。 https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cn_lineage_generation.html よりそんなlineageですが、Pythonの sqllineage というパッケージで分析・可視化できることを知りました。 sqllineage は Pythonで実装されているSQLのlin
こんにちは。DA事業本部の春田です。 Digdagで変数やパラメータを定義する時は _export するのが一般的かと思いますが、他にも色々やり方があるのでご紹介していきます。環境はGitHubに上げました。 もくじ Digdagの変数・パラメータ パラメータの取得・保存方法 digファイル上 Pythonファイル上 各種パラメータの検証 export local store --params-file Param Server 最後に 参照 Digdagの変数・パラメータ Digdag公式ドキュメントのConcepts — Export and store parametersによると、標準的なパラメータは3種類あります。 local （digファイルで + をつけて定義する）タスクに直接セットするパラメータ export 親タスクから出力されるパラメータ store 前のタスクで保存さ
ワークフローエンジンのDigdagを使ったELT、特にT(Transform)に関する問題について、Digdagのジョブ定義をうまく活用しながら解決する方法について、TimeTree社の取り組みをご紹介します。 また、弊社のようにデータ基盤チームがまだないスタートアップでのTransfomの難しさとの向き合い方も、一例としてお話しします。
EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する | wapa5pow blog
Kubernetes上に分析環境を構築する機会があったのでどのように構築したかを紹介します。同じような構成でKubernetes上で構築するのは3回目になったので構築方法も洗練されてきました。構成は以下のようになっています。 MySQL(RDS): サービスのデータベース。ここのテーブルからBigQueryにEmbulkでデータをエクスポートします。 PostgreSQL(RDS): Digdagのデータベース。今回新たにつくりました。 Digdag: データベースのエクスポートなどを実行するタスクスケジューラ。失敗したときにリトライもできます。 Embulk: プラグインを使ってデータベースをMySQLからBigQueryにエクスポートします。Digdagと同じDockerコンテナでDigdagのタスクから実行されます。 BigQuery: すべてのエクスポートされたデータをここに集約さ
【増席】Airflow, Argo, Digdag...モダンなパイプラインツールをハックしよう！ (2021/02/17 19:30〜)
機能改善 領収データ発行機能にてインボイス制度の書式での出力に対応しました。 詳しくはこちらをご覧ください。 新機能 参加者によるイベント出席機能をリリースしました。今までは主催者による出席管理機能はありましたが、大規模イベント等での受付処理が大変とのフィードバックをいただいてました。今後はイベント作成時に発行される「出席コード」を会場現地や配信で共有してもらうことで、参加者自身でイベント出席登録を行うことができるようになります。これにより受付処理が容易になりますので、イベント主催者の皆様はぜひご活用ください。詳しくはこちらのニュース や 特集ページ をご確認ください。 2月 17 【増席】Airflow, Argo, Digdag...モダンなパイプラインツールをハックしよう！ ～データエンジニア向け 実務で使えるノウハウやTipsを共有！～
Table of Contentsこの記事は、Arm Treasure Data Advent Calendar 2019の24日目です。 今年の夏に新しくTreasure Dataで使えるようになったPython Custom Scriptingですが、 開発する際にどういう点を気をつければ良いのかという質問をいただくことが多いので、 今日はTreasure Workflowとdigdagのpy> operatorを使った開発の際に気をつけることを書いて行こうと思います。 なお、Treasure WorkflowとありますがOSSのdigdagでも活かせる内容があると思います。 なお、既にPython Custom Scriptingが試せる環境にある方は、このGoogle Colab notebook https://bit.ly/191212_cs で一通り試すことが出来ます。 wo
digdag + embulk でSaaSのレポートを検査する仕組みを作った話 - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）
こんにちは！SREセクションの林（@morihaya55）です。 本記事はOisix ra daichi Inc. Advent Calendar 2018の17日目の記事です。 昨日は@yymzkの社内でキーボードつくる会を企画した話でした。 同僚がキーボード沼に沈んでいくのを横から暖かく見守るのは気持ちが良いですね、どんどん沈んで欲しいです。 ちなみに私は無難に既製品のErgoDox EZを使っています。分割キーボードは肩が広がる感じが良いですね。 さて今回は digdag + embulk でSaaSのレポートを検査する仕組みを作った話 と題してつらつらと書きます。 やったこと 目的 正常時の件数確認を楽に行いたい 異常時の検知をしたい 対策を検討した どうやったのか digdag、embulkとは Python、pandasとは embulkのプラグインの豊富さが凄い コードのご紹
はじめに 初めまして。エンジニアの有山と申します。普段は主にデータ分析基盤の開発、運用、およびウェルスナビのサービス基盤全般に関わる業務を担当しています。 今回の記事では、主にデータ分析基盤の設計や主要な技術に興味関心のある方を対象に、ウェルスナビで構築しているデータ分析基盤のご紹介と、Digdagを使用して構築したデータパイプラインの性能改善について解説していきます。 ウェルスナビのデータ分析基盤 ウェルスナビでは、データドリブンなサービス改善を行うため、社内にデータ分析基盤を構築しています。この基盤はマーケティング施策などに利用され、社員は必要なデータにアクセスしてPDCAを効率的に回せるような環境*1が整っています。技術スタックとしては以下のような技術を使用しています。 役割 サービス インフラ Amazon EC2, ECR, ECS DWH Bigquery ワークフロー Dig
digdag-3tips
ファッションチェックランキングRubyKaigiの裏側 / Fashion check ranking app for RubyKaigi2019
const vpc = new ec2.Vpc(this, 'VPC', { cidr: props.vpcCidr, natGateways: 1, maxAzs: 2, subnetConfiguration: [ { name: 'digdag-public', subnetType: ec2.SubnetType.PUBLIC, }, { name: 'digdag-private', subnetType: ec2.SubnetType.PRIVATE, }, { name: 'digdag-db', subnetType: ec2.SubnetType.ISOLATED, } ] }) const db = new rds.DatabaseCluster(this, 'DBCluster', { engine: rds.DatabaseClusterEngine.AURORA_
こんにちは。DA事業本部の春田です。 今回は、OSSのワークフローエンジン Digdag を触っていきます。Digdagのやってみた系の記事は過去にもあったので、少し趣向を変えましてGetting started — Digdag 0.9.39 documentationをベースにしながらも、GUIを切り口にしてその特徴を把握していきたいと思います。 Digdag ｜ 特集カテゴリー ｜ Developers.IO セットアップ 環境： macOS High Sierra 10.13.6 Digdagをインストールする前に、Digdagで指定されているバージョン 8u72 以上のJDK8(Java SE Development Kit 8)がインストールされているかどうか確認します。なければ、公式ページからインストーラをダウンロードするなり、MacならHomebrewを使うなりしてインスト
お知らせ 誠に残念ですが、Embulk & Digdag Meetup 2020の開催の延期をご報告いたします。 新型コロナウイルス感染症(COVID-19)の被害拡の状況下において、今回のミートアップ開催は望ましくないと判断し、延期させていただくこととなりました。 4月以降に状況を鑑み、再度ミートアップの企画させていただきますので、楽しみにお待ちください。 概要 Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを2020年初開催します！ Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。 さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO Technologi
こんにちは。 GunosyTechLab の Ads ML チームの村田（id:marice0819）です。スプラトゥーン3 で 2022 冬 Chill Season が開始しましたね。 こちらの記事は Gunosy Advent Calendar 2022 - Adventar の 5 日目の記事です。昨日の記事は takashi yamaguchi さんの「AWS Security Hubの導入から運用を回すためにやってきたこと」というタイトルでSecurity-JAWS#27に登壇しました - Gunosy Tech Blog でした。 要約 障害当日 原因調査 対策 （1）Gradle の shadowJar タスクをもちいて各 plugin が依存する全 jar を取得、cache からローカルの Maven Repository の作成 （2）Digdag のパラメータを変更
Digdag / TreasureData Workflowのエラー処理。エラー時の処理を指定する_errorだけでなく_checkやfail:>などの処理もあり、エラー発生／成功時の処理をカスタマイズできる。自由度が高く、ワークフローの階層構造とともにうまく使えばワークフローのコードが簡潔になる。公式ドキュメントの説明が不十分なので補足する。 Digdagがエラーと判定して_errorを発動する条件 コマンドの戻り値が0であれば正常、0でなければエラーとみなす。つまりシェルスクリプト（sh:>）の場合は exit 1 であればエラーとなる。 _errorを複数の階層で記述するとどうなるか _errorは同一階層には複数記述できないが、異なる階層には記述できる。以下のようにワークフローを設定する。 test.dig +task1: +task2: sh>: exit 1 _error: e
概要 echo>:とsh>: echoの挙動の違いについてです。 digdagのバージョンはv0.9.37です。 詳細 シークレットの変換 dockerコンテナでの実行 はsh>: echoのみで可能です。 io.digdag.core.workflow.EchoOperatorFactoryとio.digdag.core.workflow.ShOperatorFactoryの実装を見てもらえればすぐにわかると思います。 ShOperatorFactoryでそれぞれの処理を行なっている該当箇所は以下です。 ●シークレット変換 String command = UserSecretTemplate.of(params.get("_command", String.class)) .format(context.getSecrets());
はじめに こんにちは、MA基盤の@gachi-muchi-engineerです。 私達のチームでは、Digdagを利用してユーザーにメールを配信したり、データ連携を定期的に行うような様々なワークフローを運用しています。今回その中でも特定の対象者にポイントを付与したり、メールを配信するなどのビジネス要素が強いワークフローを、エンジニアでない運用者が運用していくなかで課題がいくつか出てきました。そこで、動的にワークフローを起動する仕組みを構築することで課題を解決したので、その方法について紹介します。 目次 はじめに 目次 Digdag 背景 1. スケジュール設定の柔軟性 2. パラメータ定義の柔軟性 課題点のまとめ 解決策 仕組み CMSとDBについて 管理するデータについて シーケンス図 1. select dynamic_workflow_config 2. execute workfl
グループを作れば、無料で誰でもイベントページが作成できます。情報発信や交流のためのイベントをTECH PLAY で公開してみませんか？
digdagメモ - Qiita
このページは？ digdagを使うにあたって必要になって調べたことのメモです。 なので網羅的な資料ではなく、偏った資料となる予定。 現在進行形で書いていきます。(2019/4/2更新) 最初にすること 初めて使う人はdigdag selfupdateすると良い。 slack通知をする時バージョンが古くて使えないdigdag変数とかあったので、とりあえず最新化するのがおすすめ。 複数の配列を同じindexで要素取得したい +repeat: for_each>: fruit: [apple, orange] verb: [eat, throw] _do: echo>: ${verb} ${fruit} # <実行結果の出力> # 2019-03-29 19:02:03 +0900 [INFO] (0017@[0:default]+main-digdag+repeat^sub+for-0=fru
DigdagとEmbulkで行うDB同期の管理 - LIVESENSE Data Analytics Blog
データプラットフォームグループの松原です。 弊社各サービスのデータ分析基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。 今回はLAで行っている分析のためにサービス側のデータ(テーブル)を、Redshiftへ同期を行う処理について紹介します。 概要 LAではデータウェアハウスとしてRedshiftを運用しており、社内から比較的自由に利用できる様にしています。 LAで取り扱っているデータはアクセスログが中心ですが、分析を行う利用者からはLA由来のデータ以外にも自分たちのサービスのデータを用いて分析を行いたい、という要望がよく出てきます。 サービスのデータには個人情報を含むものも少なくありませんが、分析基盤として社内にデータを解放するためにはそのような情報は削る必要があります。 そこで個人情報をマスキングしたサービス側データを利用できるよう、Redshif
DigDag is a pretty simple tool to install and run. There are quite a few tips and tricks that you can use to make your interaction productive. Here are my favourite ones. Setup DigDag Config DigDag command takes quite a few parameters. Instead of remembering to enter them every time, one can create a properties file. Its a standard Java properties file. You can have as many as you want with differ
はじめに はじめましてイタンジ株式会社の藤井と申します、更新退去くんという管理会社向けのSaaSを開発しています。 先日開催されたトレジャーデータさま主催のテックトーク非常に楽しく拝見させていただきました。CDPというアプリケーションがどのように構築されているのか、非常に興味深かったです。 speakerdeck.com 上記セッションの場でdigdagでerbやhttp_callオペレーターを用いた動的ワークフローを扱う手法の紹介がありましたが、私も過去Rubyのlanguage APIを用いた別の手段で動的ワークフローを利用したことがあるので、この場を借りて紹介させていただきます。 digdag × Rubyによる動的ワークフロー まずdigdagとRubyの接着面のコードを読んでみましょう、#add_subtask というメソッドに着目してみてください。 digdag/runner.
Digdagワークフローのエラーを検知するためにトップレベルの _error を定義しslackに通知しています。 しかし _export 時にエラーになると _error のタスクが実行されないということがあったのでそれを紹介します。 こちらの記事のサンプルで利用しているDigdagのバージョンはすべて 0.9.39 です。 _errorについて _error を定義することで、Digdagのタスクが失敗した時に _error に定義されているタスクが実行されます。 以下が例で、task1の中で sh>: ech "hoge" とわざとエラーを起こしています。 $ digdag run qiita1.dig (...略...) 2019-08-18 18:38:09 +0900 [INFO] (main): Starting a new session project id=1 work
digdag の retry と for_each を使う時のハマりどころをなんとかして回避したお話 - Gunosy Tech Blog
はじめに ハマりどころ詳細 ワークアラウンド ワークアラウンド詳細 Require Operator で for_each を含む Workflow を別 attempt で実行する Require Operator の retry_attempt_name にランダム文字列を渡す retry_attempt_name をretry 後毎回評価し、静的な値として用いる 完成したコード まとめ はじめに DR & MLOps チームの菊地です。 弊チームはデータ処理のための Workflow Engine として digdag を採用していますが、この記事では digdag を利用する中で出会った、あるハマりどころとそのワークアラウンドを紹介したいと思います。 ハマりどころ詳細 ハマりどころは retry と for_each Operator を組み合わせて利用した場合に発生するもので、下
Digdag/Embulkと任意のバージョンのPythonを両立させたDockerイメージを作成する方法
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 データエンジニアの濱田（@hrkhjp）です。 datatech-jp Advent Calendar 2023 の4日目の記事です。 本記事では、 Digdag / Embulk と、任意のバージョンの Python の両方をインストールした Docker イメージを作成する方法について解説します。 想定する要件 Python の Docker 公式イメージ以外のイメージをベースにする Digdag と Embulk を使うため、Java 8 が必要になる そのため、ベースイメージに eclipse-temurin:8-j
目標 Digdagの公式サイトのドキュメントのアーキテクチャを翻訳＋α DigdagのRubyを使ってRailsにバッチを作るまでが最後の目標 http://docs.digdag.io/architecture.html ＃目次 Getting started Architecture Concepts Workflow definition Scheduling workflow Operators Command reference Language API -Ruby Digdagで環境毎に設定値を変える（RubyOnRails） Digdagを用いてRubyOnRails環境でバッチ実装v Digdag Architecture Automating workflow with Digdag ワークフローは手動の動作を自動化します。 一連のタスクをワークフローとして定義します。
$ digdag run workflow1.dig --rerun 2020-07-12 17:37:09 +0900 [INFO] (0017@[0:default]+workflow1+step1): rb>: MyWorkflow.step1 ruby step1 2020-07-12 17:37:10 +0900 [INFO] (0017@[0:default]+workflow1+step2): rb>: MyWorkflow.step2 ruby step2
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Digdag + Embulkをクラウド転生させてデータ基盤運用を圧倒的に楽にした話 - エムスリーテックブログ
Embulk & Digdag Meetup 2020
Digdag と Embulk と Athena で作る Gunosy の ELT基盤
初めてECS+Digdag+Embulkでデータ分析基盤を作った話 - Qiita
digdag-operator-pg_lockのご紹介 - Gunosy Tech Blog
Jenkinsをエンジニアでない人も使えるDigdagのWeb UIとして使う - エムスリーテックブログ
とりあえずexportしない！Digdag変数・パラメータの使い方全種 | DevelopersIO
Data Transformation in Digdag
Pythonistaのためのdigdag py> operator開発ガイド | Democratizing Data
DigdagをECSでスケールアウトして性能改善をしました - ウェルスナビ開発者ブログ
CDKでECS+Fargate上にDigdagを立ててCognito認証を挟む - sambaiz-net
GUIから理解するDigdagチュートリアル | DevelopersIO
Embulk & Digdag Meetup 2020｜IT勉強会ならTECH PLAY［テックプレイ］
Digdag が突然止まった障害を受けて - Gunosy Tech Blog
Digdag / TreasureData Workflowのエラー処理 – marketechlabo
digdagの「echo>:」と「sh>: echo 」の違い - Qiita
Digdagのワークフローを動的に実行できる仕組みの導入 - ZOZO TECH BLOG
イベント資料｜Embulk & Digdag Online Meetup 2020 - TECH PLAY［テックプレイ］
Seven Useful DigDag Tips and Tricks | Thejesh GN
digdag × Rubyで動的ワークフロー！ - ITANDI Engineer Blog
Digdagの_export時のエラーは_errorのタスクが実行されない - Qiita
Digdag公式ドキュメントからDigdagを学ぶ-アーキテクチャ - Qiita
Digdag公式ドキュメントからDigdagを学ぶ-Language API-Ruby - Qiita
blog.goo.ne.jp/pritadiary
drfridge.hatenablog.jp
switch-news.com
news.yahoo.co.jp
passmarket.yahoo.co.jp
pc.watch.impress.co.jp