Cloud Runで開発用環境を沢山作る - 一休.com Developers Blog
概要 この記事は 一休.com Advent Calendar 2023 16日目の記事です。 RESZAIKO開発チームの松村です。 一休では各サービス毎に、開発中のサービスの動作を社内で確認できる環境があります。 それぞれmain(master)ブランチと自動的に同期している環境と、特定のブランチを指定して利用できる環境の2種類があります。 今回、RESZAIKOの新規サービス(予約画面)に対してブランチを指定してデプロイできる環境を作成したので、その方針と反省点と今後について記述していきます。 現在運用中の予約画面 開発環境を作る理由 一休では長らく、EKS上に複数の環境を用意して、ブランチを指定すると開発環境にデプロイするシステムが利用されてきました。 一般的にこのような環境を構築するのは以下のような理由が挙げられます。 動作確認 マイクロサービスで、異なるブランチ同士の組み合わせ
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
Raycast 所感 - @kyanny's blog
TL;DR 現時点では Alfred の方が多機能でカスタマイズしやすい。ただ、Raycast はビルトインで便利な機能がいくつかあり、甲乙つけ難い。 私物マシンで一週間ほど少し使った && 軽くドキュメントを見ながらちょっと込み入ったコマンドを試してみた感想。 Raycast Manual Action Panel Window Management Core (Extension) Calculator (Extension) Script Commands Quicklinks Fallback Commands Create Extension / Raycast API FAQ 結論 Raycast Manual Notion で作られている。センスが合わない。 Action Panel Alfred でいうところの Cmd+1,2,3 みたいな「追加アクション」のこと。Cmd+
Argo Workflows: 推薦基盤向けワークフローエンジンを Kubernetes で運用して1年経ったので振り返る | Wantedly Engineer Blog
Argo Workflows: 推薦基盤向けワークフローエンジンを Kubernetes で運用して1年経ったので振り返る こんにちは。Matching チームの笠井（@unblee）です。 この記事では、おおよそ1年以上前に私が新卒入社して Infrastructure チームで一番最初に取り組んだ Workflow Engine の導入プロジェクトについての振り返り・供養をしようと思います。 記事内で触れている情報・判断は全て1年以上前の時点の社内外の状況に基づいていることを前提としているため現在の最新の情報とは異なることがあります。この前提を承知した上でお読みいただければ幸いです。 Agenda問題意識技術選定PoC本番環境への導入とその障壁の解決振り返りまとめ問題意識Wantedly では以前から推薦基盤へ力を注いでおり、Wantedly Visit におけるユーザと企業の理想のマ
Netflix Conductor: A microservices orchestrator
Conductor is a microservices orchestration engine - https://netflix.github.io/conductor/ Why not peer to peer choreography?With peer to peer task choreography, we found it was harder to scale with growing business needs and complexities. Pub/sub model worked for simplest of the flows, but quickly highlighted some of the issues associated with the approach: Process flows are “embedded” within the c
StackStorm ワークフローエンジンによる運用コスト・リスク低減の取り組み // Speaker Deck
#workflowenginesnight にてお話させていただいたスライドです！ インフラエンジニア" が行う運用作業では、チケット管理システムや、ハードウェア管理システム、構成管理システム、ソースコード管理システムなど、複数のシステムに跨ったオペレーションを行います。 こうした運用作業には、運用者の作業・習熟コストがシステムの複雑さに比例する、長く運用されたシステムの置き換えが難しくなるといった問題がつきまといます。 このセッションでは、DMM.comラボにおける StackStorm を用いたそれらの改善の取り組みと、何故 StackStorm に注目しているかについて共有させていただきました！
Azkaban
Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides an easy to use web user interface to maintain and track your workflows. Features Compatible with any version of Hadoop Easy to use web UI Simple web and http workflow uploads Project workspaces Scheduling of workflows Modular and pluginable Authentic
Ruby製のシンプルなワークフローエンジンRukawaの紹介 - Qiita
Bigqueryを使ったバッチジョブを色々と実行しているのですが、Rakeで複雑な依存関係を管理したり、並列実行させたりするのが辛くなってきたのでRukawaというワークフローエンジンを自作しました。 自作したのは、RailsプロダクトにAirflowとかLuigiとかAzkabanとか入れるにはちょっと重厚過ぎる感じだったのと、Rubyで書ける方が楽で良いやという理由からです。 RukawaとはRUby KAntan Workflow Assistantの略です(後付け) (本当はミッチーとか水戸の方が好きなんだけど良い名前が浮かばなかった) 実際は、並列実行を可能にして書き方を変えてみたRakeとそんなに大差無い。 Rukawaの機能 ジョブの定義 まず実行したい処理をジョブクラスに記述します。 module ExecuteLog def self.store @store ||= {
Digdag - Open Source Workflow Engine for the Multi-Cloud Era
Digdag is a simple tool that helps you to build, run, schedule, and monitor complex pipelines of tasks. It handles dependency resolution so that tasks run in series or in parallel. Digdag replaces cron, facilitates IT operations automation, orchestrates data engineering tasks, coordinates machine learning pipelines, and more.
GitLab flowから学ぶワークフローの実践 | POSTD
Gitによるバージョン管理では、従来のSVNなどよりずっと簡単にブランチングやマージができます。さまざまなブランチ戦略やワークフローが可能であり、以前のシステムに比べるとほとんど全てが改善されたと言えるでしょう。しかしGitを利用する多くの組織はワークフローの問題に直面します。明確な定義がなく複雑で、Issue Tracking Systemと統合されていないからです。そこで、明確に定義された最良の実践的方法としてのGitLab flowを提案したいと思います。issue trackingには feature driven development と feature branches を組み合わせます。 他のバージョン管理システムからGitに移行する際によく耳にすることは、効果的なワークフローの開発が難しいということです。この記事ではGitワークフローとIssue Tracking Sys
開発環境の情報共有会でDash,SourceTree,Alfredの話をした - Glide Note
社内で開発環境についての情報を共有する会を開催した。 参加者全員が発表のスタイルで、ただ聞いてるだけの人がいないようにしたら いろいろな情報を共有出来て大変参考になった。 私は1日のほとんどをターミナル上で過ごすので、ここ数年GUIアプリにはあんまり関心が 無かったんですが、最近導入して便利だったやつを共有したら好評だったのでまとめておく。 Dash Dash - Documentation Browser, Snippet Manager - Kapeli ドキュメントブラウザ、スニペット管理ツール。ドキュメントをローカルにダウンロードして 利用するので高速。今日(2014/03/29)時点で130以上のドキュメントとAPIに対応していて、 プログラミング言語に加えて、MySQL、MongoDB、Puppet、Vagrantなどのドキュメントもある。 自作ドキュメントを追加することも可能
Alfredでオンラインストレージを一括でオン・オフ
みんな大好きMacのランチャーの定番Alfred。 WorkFlowを作ったけど、もっと便利なものが既にあったので紹介します。 Alfredとは Alfred App – Productivity App for Mac OS X もはや説明不要なMac用のランチャーです。 アプリの起動やファイルの検索など、Alt+Space押しとけば何とかしてくれるやつです。 ぼくたちは、Alfredひげメガネ芸人です！ — SOU (@sou_lab) 2014, 2月 19 Alfredひげメガネ芸人のみんなから熱いRT（少） Alfred Workflowが便利 無料版でもアプリの起動やファイルの検索など充分便利なのですが、お布施をすると更に便利な機能が開放され、iTunesやクリップボード履歴やターミナルの操作ができるようになります。 そして、Workflowという機能も開放されるんですが、これ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - activepieces/activepieces: Your friendliest open source all-in-one automation tool ✨ Workflow automation tool 100+ integration / Enterprise automation tool / Zapier Alternative
StackStorm | Event-driven automation
DMM inside
git-flowでもgithub flowでもない、Git本家推奨のワークフロー