Treasure Workflowのsession timeとスケジューリングについて - Treasure Data - Support Engineering Team blog
こんにちは。Arm Treasure Dataでサポートエンジニアとして働いています、佐藤です。 今回は少しイメージとして掴みにくい、Treasure workflowのsession timeのコンセプトに関して少し説明して行こうかと思います。 そもそもTeasure Workflowとは？ Treasure workflowは、OSSのdigdagというツールをTreasure Dataがホストしたものになります。 https://www.digdag.io/ digdagはいわゆるワークフローツールと呼ばれるもので、外部ツールからのデータの取り込み、SQLによるデータ抽出、テーブルの作成、外部ツールへの書き出しなどを一連のフローとして設定出来るツールです。 具体的な違いの詳細などの説明は今回の記事ではしませんが、基本的にはdigdagに利用方法とほぼ同じだと考えてもらえるとわかりやす
とりあえずexportしない！Digdag変数・パラメータの使い方全種 | DevelopersIO
こんにちは。DA事業本部の春田です。 Digdagで変数やパラメータを定義する時は _export するのが一般的かと思いますが、他にも色々やり方があるのでご紹介していきます。環境はGitHubに上げました。 もくじ Digdagの変数・パラメータ パラメータの取得・保存方法 digファイル上 Pythonファイル上 各種パラメータの検証 export local store --params-file Param Server 最後に 参照 Digdagの変数・パラメータ Digdag公式ドキュメントのConcepts — Export and store parametersによると、標準的なパラメータは3種類あります。 local （digファイルで + をつけて定義する）タスクに直接セットするパラメータ export 親タスクから出力されるパラメータ store 前のタスクで保存さ
Embulk & Digdag Online Meetup 2020 - YouTube
トークに関する質問はSlidoで受け付けています！ https://app.sli.do/event/rmpbrfsv [目次] 00:00 準備中のためスキップしてください。 46:18 オープニング 48:26 Embulkプラグインをスクリプトで書けるようにしてみた by 古橋貞之 Arm TreasureData(現Treasure Data) 1:09:31 Plan and incompatibility toward Embulk v1.0 by 三廻部大 Arm TreasureData (現Treasure Data) 1:50:22 Embulk を利用したデータ統合SaaSの構築と運用 by 鈴木健太 株式会社primeNumber 2:36:43 Digdag updates 山縣 陽 Arm TreasureData(現Treasure Data) 3:09:
digdag on docker による機械学習モデルの継続的学習 - Qiita
こんにちは、CET というチームに所属している @kojisuganuma です。 普段は機械学習エンジニアリングと Splatoon2 をメインでやってます。 本記事では、個人的に勉強中の OSS ワークフローエンジン digdag を使って、機械学習モデルの継続的学習を実現してみたいと思います。ポイントは以下の通り。 digdag server, PosgreSQL を docker コンテナで動かす digdag のタスクを digdag server とは別コンテナの上で動かす scikit-learn を使って機械学習モデリング scikit-learn の学習済みモデルを cloudpickle でシリアライズ 対象読者 docker を使って digdag server を構築したい方 機械学習モデルの継続的学習を実現したい方 scikit-learn を使って機械学習モデリ
Digdag server with PostgreSQL on macOS - Qiita
$ launchctl load -w /usr/local/Cellar/postgresql/11.2/homebrew.mxcl.postgresql.plist $ psql -l List of databases Name | Owner | Encoding | Collate | Ctype | Access privileges -----------+--------------+----------+-------------+-------------+----------------------------------- postgres | naotoshi.seo | UTF8 | en_US.UTF-8 | en_US.UTF-8 | template0 | naotoshi.seo | UTF8 | en_US.UTF-8 | en_US.UTF-8 |
digdag push が symlinks を辿ってくれないので自分で辿る - Qiita
やりたいこと 以下のようなディレクトリ構成にしたいとする。 つまり digdag project は異なるが、プロジェクト間である程度ファイルを symbolic links を使って共有したいような構成。 shared/ ├── environment.yml ├── notification │ ├── danger-template.yml │ └── good-template.yml └── tasks └── environment.rb project/sample/ ├── environment.yml -> ../../shared/environment.yml ├── notification │ ├── danger-template.yml -> ../../../shared/notification/danger-template.yml │
Digdagのserverモードで環境毎に設定値を変える６つの方法 - Qiita
production や development といった環境によってホスト名が違ったりする場合にどう切り替えるか。 1. digdag start の --param オプションで指定する $ digdag start —-param environment=development --param endpoint=http://localhost:5432 ... 利点 実行ごとにパラメータを変えられるので柔軟 欠点 必須なパラメータがあるような場合に Web UI から RUN ボタンを押しても動かなくなる(パラメータ未指定の digdag start と同じ) 実行のたびにパラメータを１つずつ渡すのは面倒? 2. digdag start の --param-file オプションで指定する
digdagサーバをコンテナで動かしてジョブもコンテナで動かす際の設定例
はじめに この記事はMicroAd Advent Calendar 2017の1日目の記事です。 Digdagはジョブをコンテナで実行する事ができ、スケールが容易なワークフローエンジンです。 本エントリではそんなDigdagサーバ自体もコンテナで動かしながらジョブもコンテナで動かす際の設定やハマり所を紹介します。 使用ソフトウェアとバージョン digdag: 0.9.21 docker: 1.12.6 全体像 先にどんな感じの構成を実現しようとしているか、全体像を図示します。 _export: docker: image: python:3 +-------------+ | | | | +---+----+ +----v---+ | | | | docker run | digdag | | python | +---------> server | | (job) | | | | |
Digdag の Plugin をたくさん作ったので紹介するよ - Gunosy Tech Blog
こちらは Gunosy Advent Calendar 2018、7日目の記事です。なお、昨日の記事は @yutanim さんの RxSwiftにおける孫からの祖父母孝行 でした。 qiita.com はじめに こんにちは、広告技術部の ｷｳﾞｨﾀｽﾎﾟ(人工知能) (@Civitaspo) / Twitter です。 Gunosy に入社してから早いもので1年が経ちました。昨年の Gunosy Advent Calendar では僕は読む専門だったのですが、『Gunosyのパーソナライズを支える技術 -ワークフロー編-』を読んで非常に感銘を受けたのを覚えています。 tech.gunosy.io ここではそのとき感銘を受けた言葉を紹介しておきます。 ワークフローは、いわばシステム上における兵站といってもいいでしょう。「戦争のプロは兵站を語り、戦争の素人は戦略を語る」という名言もあるくらいで
Digdagを使ったジョブ管理 - MicroAd Developers Blog
はじめまして。アプリケーションエンジニアの中野です。 以前、MicroAdのデータ基盤の記事で紹介されていましたが、マイクロアドではデータ基盤刷新のタイミングでワークフロー管理ツールのDigdagを採用しました。 今回の記事では、Digdag採用の経緯やワークフローを作成する際に注意した点を紹介します。 Digdag採用の経緯 マイクロアドのDSP*1であるBLADEではBidRequestやImpression*2、Click、Conversion*3、その他BLADEから出力される様々なログやマイクロアドの他のプロダクトのログ、他社から提供されるデータなど、様々なデータを広告配信最適化の分析に活かしています。 これらのログを分析するバッチ処理は各々のジョブが複雑な依存関係を持っています。 これまではcronやJenkinsを用いてこれらの処理を行っていましたが コード管理が出来ていない
Digdagを使ってBigQueryからテーブルをAvroフォーマットでExportする - Qiita
Digdagのワークフロー定義で直接BigQueryを操作できるようになっていたので試してみた。 実行環境：GCP CloudShell digdag version: 0.9.5 digdagのインストール手順は省略： 今回試したのはBigQueryのあるテーブルをAvroフォーマットでGCSに格納する例。 BigQueryやGCSにアクセスするためには個人のアカウントやサービスアカウントを利用するが、処理の自動化を行う際はサービスアカウントを作るのが妥当。 サービスアカウントを作成し、鍵をjson形式でファイル出力する。このファイルをjson.keyとしてCloudShell上に配置。 DigdagのワークフローからGCPにアクセスするためには、Secrets情報としてgcp.credentialを設定する必要がある。 Digdagは秘密情報（パスワードや鍵など）をセキュアに管理するた
DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する - ZOZO TECH BLOG
こんにちは、バックエンドエンジニアの塩崎です。 先日、会社の広報のためのインターン生紹介記事にメンターとして掲載していただきました。 大学四年生のインターン生と一緒に写真撮影を行ったのですが、見た目だけではどちらが年上かわからなかったので、「メンターの塩崎（右）」という表記をされてしまいました（笑） インターンでも実際のサービスに触れ、課題を解決！〜VASILY DEVELOPERS BLOGが公開されました〜 さて、VASILYではData WarehouseとしてGoogle BigQuery（BigQuery）を利用しています。 BigQuery内にはプロダクトのマスタデータとユーザーの行動ログが格納されています。 そして、それらに対する横断的なクエリを発行することでプロダクトの成長のためのKPIをモニタリングしています。 そのためAmazon Relational Database
DigdagをHA構成にしてみた - ZOZO TECH BLOG
こんにちは、最近のマイブームはマヌルネコ動画な新事業創造部バックエンドエンジニアの塩崎です。 今回のテックブログでは、以前にDigdagを紹介した記事の続編として、DigdagをHA構成にするためのTipsなどを紹介します。 Digdagとは Digdagはワークフローエンジンと呼ばれるソフトウェアです。 複数個のタスク間の依存関係からなるワークフローを定義し、そのワークフローの実行及び管理を行います。 この説明だけですと、何が便利なのかいまいちピンとこない方が多いかと思います。 ですが、かゆいところに手が届く便利ソフトウェアです。 具体的なかゆいところの紹介は以前にDigdagを紹介した記事の前半部分に書かれています。 Digdagを使用したことのない方はこちらを読んでから本記事を読み進めると理解しやすいかと思います。 tech.starttoday-tech.com さて、前回の記事で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Embulk & Digdag Meetup 2020
digdag-3tips
digdag の自前ビルド (docker 編) - Qiita
digdag の .dig ファイル向け vim 設定 - Qiita
GitHub - kimutansk/digdag-plugin-dfs_wait: Digdag dfs_wait> operator plugin to wait for files on DFS.
PLAZMA Data Engineer Day: TD Tech Talk 2018 (2018.5.23 虎ノ門)
Changelogと戦う