サーバーレスにおけるべき等性の実装 (バッチ処理と分散トランザクション編) ~サーバーレスが気になる開発者に捧ぐ「べき等性」ことはじめ 第 4 回~ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
このシリーズの 第２回 では、クライアントからバックエンドのサービスを利用する際に、なんらかの原因でエラーが発生した場合にクライアント側でリトライ処理が実行されると、リクエストが重複して送られる可能性があることを説明しました。クライアントからキューに対してメッセージを送信するようなサーバーレスのシステムにおいては、リトライ処理によって重複したメッセージが送信されてもメッセージの重複を排除する機能を利用することによってべき等性を実現する方法について解説を行いました。その中では、重複したメッセージをただ一度だけ処理する (Exactly Once) ことで、結果としてべき等性を実現するという具体的な実装方法と共に紹介しました。 第 3 回 では、キューからメッセージを取り出し、バックエンドのデータソースへ保存する処理においても、何らかのエラーによってリトライ処理が発生した場合に重複してデータの
「golang.tokyo」は、プログラミング言語のGoの導入企業のメンバーが集まり、Goの普及を推進するコミュニティです。ここで、フューチャー株式会社の真野氏が登壇。ここからは、Goの導入で工夫していることを紹介します。 WebAPIからバッチ処理までの工夫 真野隼記氏：ここから話は変わって、実際に使っている、導入の部分で工夫しているところをいくつか紹介したいと思います。（スライドを示して）Goの導入ですが、Goのバックエンド中心で強いのはだいたいそのとおりで、WebのAPIサーバやバッチ処理、BOTのアプリやCLIツールなどをいくつか導入しています。 細かな工夫について、WebのAPIやバッチで特に生産性に加味しそうなところを話していきたいと思います。 （スライドを示して）まずWebのAPIですが、特に技術選定のリーダーポジションでよく思うことです。デファクトスタンダードなWebのフレ
はじめに こんにちは、ハンズラボの清水です。東急ハンズのECサイトを担当しています。今回はEC2上で動いている外部ECモール連携バッチをAmazon ECS ScheduleTaskに移行しました。そして、GitHubにpushした際にECRにイメージをpushできるようなGitHubActionsも作成しました。今回はECSのScheduleTask機能を使用してバッチ処理を作成していきます。 ※外部ECモールとはyahooや楽天といったショッピングサイトのことです。 既存バッチ処理の内容 既存のバッチ処理ではEC2インスタンス上にバッチサーバーを用意、cronにスケジュールを登録してバッチを叩いています。 処理の内容としては、Auroraに追加された注文変更情報を取得して、注文情報商品の数量変更、注文キャンセル等を行っています。 今回は注文情報変更処理をECSに移行しました。 ECSへ
Lambda でバッチ処理を構築する際のエラー通知パターン 5選 - サーバーワークスエンジニアブログ
はじめに パターン1. 直接Publish パターン メリット デメリット パターン2. DLQパターン メリット デメリット パターン3. 失敗時送信先パターン メリット デメリット パターン4. メトリクスフィルターパターン メリット デメリット パターン5. サブスクリプションフィルターパターン メリット デメリット 各パターン比較表 まとめ はじめに アプリケーションサービス部の宮本です。 お仕事でLambda を使ったバッチ処理を構築することが多いのですが、バッチ処理でエラーが発生した場合、通知が必要なケースが大半です。そこで通知の方法について、幾つかパターンがあるので纏めてみることにしました。 イメージとしては以下の様なバッチ処理です。条件に当てはまらない場合は別のアプローチもご検討ください。 ここでいうバッチ処理のイメージ 実行頻度は1日数回程度以下。 失敗すると何かしらの業
前編(トランザクション範囲の最小化)へ はじめに こんにちは。タイミーのバックエンドエンジニア中野です。 前編では締めのバッチ処理におけるトランザクションの範囲を最小化した技術的改善をご紹介しました。トランザクションの範囲をバッチ処理全体から最小限の範囲に変更したことにより、バッチ処理が失敗した場合に請求レコードの処理が途中まで完了している状態が発生するようになりました。後編では、処理対象の請求レコードに対し状態を持たせることでバッチ処理全体での冪等性を担保し、バッチ処理が途中で失敗した場合でも安全に処理を再開できるようにした取り組みをご紹介します。 はじめに 締めのバッチ処理とは 現状の課題認識 実施した施策 冪等性とは 冪等性を実現する方法 バッチ処理への適用 達成できたこと 今後の課題 スループット向上とリソース最適化 まとめ 締めのバッチ処理とは まずは前編のおさらいになりますが、
こんにちは、エンジニアリングユニットの飯森です。 先日、Anewsのバッチ処理のテストフレームワークを刷新するプロジェクトに取り組みました。 本記事ではこの取り組みについて紹介します。 本記事を読むことで、以下の2点が分かります。 バッチ処理のテストフレームワークの刷新をどのように進めたのかストックマークでは工数がかかる改善施策にどのように取り組んでいるのかプロジェクトの背景最初に、Anewsのバッチ処理とそのテストフレームワークについて説明します。 Anewsとバッチ処理ストックマークはAI 情報収集プラットフォームAnewsを運営しています。 Anewsでは、ニュース、論文、特許といった様々な情報を国内外約35,000メディアから収集し、AIによる最適な情報配信を提供しています。 Anewsで配信されるコンテンツ（フィード）には様々な種類があります。 例えば、ユーザーの興味や嗜好に合わ
https://awsj-compute.connpass.com/event/192302/ クラウドでは必要な時に必要な量の計算リソースを起動して処理を行うことができるため、HPC (High Performance Computing) やゲノム解析、大量の動画像の処理といった用途に適しています。そしてこのような大規模バッチ処理をコスト効率よく行うためにはスポットインスタンスの活用が重要なポイントとなります。本セッションでは、大規模バッチ処理に対してスポットインスタンスを適用する際に考慮しなければいけないことや、注意すべきポイントについて、AWS Batchを活用した実例を交えてご紹介いたします。
みずほ銀行が鬼門のバッチ処理でつまずいた。3月11～12日に起きた外貨送金のトラブルは、ディスク装置の故障が発端だった。バックアップ装置への切り替えに失敗し、データの不整合も重なって夜間のバッチ処理が朝までに終わらなかった。みずほ銀行のシステム障害はこの2週間で4度目となる。しかも夜間バッチ処理の失敗は、2002年4月と11年3月に起こした2度の大規模障害でもあった。これを防ぐために勘定系システムを作り直した経緯があり、今回の障害は重い意味を持つ。【関連記事】・・・異例の2度目の謝罪会見「断腸の思いだ」。12日夜、東京・千代田のみずほ銀行本店で開いた緊急記者会見で、藤原弘治頭取はこう絞り出した。藤原頭取は2週間ほど前の1日、まったく同じ場所で記者会見をしたばかり。システム障害を理由に、これほどの短期間でメガバンク首脳が2度も謝罪会見の場に立つのは異例
バッチ処理系の刷新とArgo Workflow移行
これはPTAアドベントカレンダーの7日目の記事です。 5年間運用されてきたバッチ処理系を刷新し、Argo Workflowを用いたバッチ処理系に移行したのでその紹介記事です。 背景 GKE上でバッチ処理のワークロードを実行しており、ワークフローエンジンとしてDigdagを採用していました。ユースケースとしては定期実行のバッチ処理、ETL、機械学習等。 Digdagを用いたワークフロー定義はシンプルかつ運用に必要な機能を提供してくれています。実際のワークフロー内部の処理としては、ワークフローの各タスクにおいては基本的にはロジックは持たずKubernetes Jobの実行のみを行います。そのためにDigdagとKubernetes Job間で協調動作するための仕組みが独自で用意されていました。このようなバッチ処理系が約5年程運用されてきました。 この仕組で今まで元気に動いてはいたのですが次のよ
ほとんどバッチ処理しか書いたことのない者だがストリーム処理のシステムを開発することになった。 それにあたって独学で調べたことなどまとめておく。 ストリーム処理とは#そもそも “ストリーム処理” とは何を指しているのか。 以下の引用が簡潔に示している。 a type of data processing engine that is designed with infinite data sets in mind. Nothing more. – Streaming 101: The world beyond batch こちらは “streaming system” について述べたものだが、つまり終わりのないデータを扱うのがストリーム処理ということである。 例えば web サービスから生まれ続けるユーザ行動ログを逐次的に処理するというのがストリーム処理。 web サービスが終了しないかぎり
こんにちは。Nulab Appsチームの小松です。 本ブログでは、バッチ処理の実装を通じて得た知見について共有したいと思います。 TL;DR Spring BootとSpring Batchを使用したバッチ処理の実装 AWSのマネージドサービスを使用したデータ運搬 要件 実現したいことは、Webアプリケーションで管理しているデータをSalesforceへ同期することです。 Salesforceへの同期のタイミングは、アプリケーションでのデータ変更に連動して行われることが望まれており、ある程度のリアルタイム性が求められていました。 Salesforce上のモジュール間には関連を定義することができ、今回は、その関連を多用する仕様となっていました。そのため、同期処理時に更新したSalesforceのオブジェクトのID管理やその紐付けなど、独自のロジックの実装が必要でした。 多くのデータを1日何度
Laravelのバッチ処理を作る | RE:ENGINES
はじめに こんにちは。webアプリにつきもののバッチ処理ですが、もちろんLaravelでもサポートされていて、crontabに書き散らすことなくバッチを設定できます。 今回はLaravelでコンソールやcronから処理を呼び出し、バッチとして実行する方法を紹介します。 環境 PHP 7.3.3 Laravel 5.8.21 artisanコマンド作成 以下のコマンドで、Artisanコマンドを自作します。ここで作成するコマンドは php artisan でCUIから実行できますし、今回のテーマであるバッチ処理でも呼び出すことができます。
はじめに この記事は、Merpay Tech Openness Month 2022 の7日目の記事です。 こんにちは。メルペイのBackendエンジニアの@kaznishiです。 この記事では、私が所属しているチームで担当している加盟店精算のマイクロサービスにおけるバッチ処理のリグレッションテスト自動化の取り組みを紹介します。 まだBackendエンジニアしかテストシナリオの整備ができるようになっていなかったり、開発フローが整備しきれているわけではないですが、現時点でどのようなテストを回しているか、そして今後どのように改良していきたいかを述べたいと思います。 前提知識 加盟店精算のマイクロサービスの性質として、毎月決まったタイミングでの締め処理があります。この締め処理の中で、メルペイを導入してくださっている加盟店さまの売上を集計し、加盟店さまの銀行口座へ振込する金額の計算を行っています。
はじめに この記事は何か AWSのSQSをJob queueとしたバッチ処理システムの構成について、比較検討しています。 特にconsumerにフォーカスしています。 用語はこちらのスライドを参考にさせていただきました AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05 この記事を書いた理由 SQSを使ってバッチ処理システムを作ろうとしたが、 lamnda以外で最近(2019年)のベストプラクティスが見つからなかった。 lambdaがユースケースに合わない人はまだまだいるんじゃない？と思い、記事にしました どんな人が検討したか 普段の業務スキルと若干離れた事を検討しているので、 間違ったこと書いてたり、あきらかな改善点があるかもしれません。 ツッコミもらえると嬉しいです。 スキル サーバサイド(API) ruby/Rails python フ
みずほ銀行は2002年4月と2011年3月に起こした2度の大規模システム障害で、合計350万件を超える振込遅延と数万件の二重引き落としを発生させた。新システムである「MINORI」への移行後はこうした大トラブルは減る見込みだ。トラブルの原因となった大量バッチ処理を解体したからだ。 2度の大規模システム障害では夜間バッチ処理の失敗によって、大量の振り込みが未送信になった。昼間に営業店の従業員が端末を使って1件ずつ振り込みを送信し直したが、その情報が夜間バッチの再実行時に反映されなかったため、二重振り込みが起きた。 MINORIは大量の振り込みを1件ずつ単一のトランザクションとしてオンライン処理する。振り込みに失敗しても、失敗した処理だけやり直せる。最初から全件の処理をやり直したり、手作業で送り直したりする必要はない。 処理の流れはこうだ。電力会社からの口座振り替えなどの依頼は、「口座振替」シ
AWS - ECS Taskを使ったバッチ処理
ECS Taskを使ってバッチ処理するケースがあると思う。 構成のパターンは様々ありそうだが、必要となるAWSリソースであったり、監視・リトライの実現方法あたりを、整理しておこうと思う。 （Lambdaを使えばリトライ設定とかあるので簡単だが、処理時間が長いなどLambdaが使えないケースを想定している） 時間指定で、ECS Taskを起動したい EventBridgeでTargetに、ECS taskまたは、Step Functions state machineを指定すれば良い。 Targetの呼び出し自体に失敗したときのリトライはRuleに対して設定できるが、起動後の失敗に関してはStep Functionsで対応する必要がある。 なので、最初からStep Functions state machineを指定する形にしておくと良さそうな感じがする。 ECS Taskが失敗したら、リト
NVEncバッチ処理でさらなる爆速エンコ
2020/4/5更新 コマンドをコピペすると"--"（連続ハイフン）がWordpressの仕様によりダッシュに変換され、バッチが正常に動作しない問題を修正しました。 AviUtlの拡張プラグインでNVEncの設定画面を開くと、以下のような設定一覧が表示されます。 この画面中の下のほうに、何やらコマンドの羅列が見えます。 このコマンドオプションを元にバッチファイルを作成して、その上にエンコードしたい動画をDrag&Dropで重ね合わせると自動的にエンコード処理が始まります。 そんなの別にいいよと思うかも知れませんが、バッチファイルでやるとAviUtlでエンコするよりも倍近く時間短縮が可能になります。 上の設定で、50分ほどのTS動画を使ってNVEncのエンコード速度比較をしてみると、 ①AviUtl：6分40秒（220fps前後） ②バッチ処理：3分30秒（410fps程度） という結果にな
最近ギョームでやったこと (5) 〜 Fargate で動いている ECS Scheduled Task (バッチ処理) のリソース使用量を計測出来るようにしました 〜 - ようへいの日々精進XP
tl;dr なぜ こんな感じで... こんな感じで... (1) こんな感じで... (2) こんな感じに... なりました 実装にあたって得た知見等 Task metadata endpoint コンテナデザインパターン リソース (CPU 使用率, Memory 使用量) の計算方法 コンテナの起動順序の制御 以上 tl;dr ご無沙汰しております. ちゃんと仕事をしていますよ, かっぱです. Fargate で動いている Scheduled Task (いわゆるバッチ処理) がどのくらい CPU やメモリを使用しているのか知りたくて, 幾つかの技術を組み合わせて実装してみましたので紹介させて頂きます. 一応, この仕組を仕込んだ後, 気づいていなかった幾つかの問題について気づくことが出来たりして, 時間をかけても仕込んで良かったなと思えることがありました. なぜ なぜ, バッチ処理の
AsakusaとTsurugiとバッチ処理（昨年に引き続き） - 急がば回れ、選ぶなら近道
[昨年に引き続き] Tsurugiについて 詳細は以下 okachimachiorz.hatenablog.com ・これは前回の繰り言 要するにRDBを作りましょう、という話。いろいろインメモリーでメニーコアとか、ECC(Epoch-based Concurrency Control)とか、いろいろ特長はあるけど、目標としている機能の一つに「writeバッチ処理に強い」というものがある。 ■バッチ処理の困難さ このあたりも繰り言にもなる。基本的にまず、そもそも論としてwrite処理は既存RDBとは相性が良くない。これは単純に整合性を持たせる(serializable)ためのコストが大きいことによる。そもそも相性の良くないwriteをさらに大量に、かつ一度に書き込むバッチはさらに重ねて相性が良くない。 以下、今年一年の進捗的な話 ■Tsurugiの現状として 現在、Tsurugiでは本格的
こんにちは, メディア開発部の今村です. この記事はGunosy Advent Calendar 2022 7日目の記事です. 昨日の前編から引き続き, EventBridgeとECSでバッチ処理基盤を整備した話を紹介します. 後編は監視についてです. EventBridgeやECSの情報をDatadogに集めてモニターを設定していきます. ECSタスクの失敗を検知する EventBridgeの失敗を検知する 監視のまとめ おわりに ECSタスクの失敗を検知する タスクのメトリクスとログについては, サイドカーコンテナとしてDatadog agentとFluent Bitを配置することで収集できます. 方法は大体公式ドキュメントにある通りです. しかし, ドキュメントに The ECS Fargate check does not include any events. とあるように, こ
SharePointのAPIからファイル情報を取得したり、ファイルをダウンロードする。 簡単そうなことなのに、いかんせん情報が少なかったりガセネタばかりで手こずったので、ここに詳しく記録しておく。 前提条件確認、下準備 仮に、テナント名を{{MYTENANT}}、サイト名を{{MYSITE}}としよう。 ブラウザでSharePointの画面を閲覧する際は以下のようなURLになる。 https://{{MYTENANT}}.sharepoint.com/sites/{{MYSITE}} 「ドキュメント」をクリックすると以下のようなURLに飛ぶ。 https://{{MYTENANT}}.sharepoint.com/sites/{{MYSITE}}/Shared%20Documents/Forms/AllItems.aspx 「Shared Documents」がURLエンコードされて「Sh
Golangでのバッチ処理 個人的プラクティス Go言語でバッチを書く機会があった為、そこで個人的に行なった・意識した事をまあ振り返り形式が描いていく記事です。 割と書いてることは堅いかなと思います。そんなに新しいことを書いている感じもないです。 これを使えば多分間違いないだろうという定番ライブラリの紹介みたいな記事です。 CLIインターフェイス / フレームワーク cliを自分で実装するとなると割と大変だったりします。主に文法の解析。 なのでこれに関してはurfave/cliに任せておけばOKかと。 urfave/cli Star数10000超えてますし、特に不満もなく何でも使えるしカスタマイズもできるので、 今のところはこれが最良かと。 しっかりと標準出力/入力に依存せず、独立した構成になっているのでテストも容易です。 ほぼケースを網羅したテストのあるコードを書いてみる。言語設定で文章
はじめに バッチ処理を作る際に検討項目が多く手が動かない。。。。 そんな状況にならないためにフォローできる記事になれば良いと思い書き込んでみました。 そもそもバッチ処理とは 簡単にいうと一定量のデータを集めて、一括で処理する方法のことです。 主にユーザアクションに起因しない処理です。 実行についても定期実行、手動実行など様々な用途で用いられます。 バッチ処理にするメリット 大量のデータを一括で処理できること 稼働する時間を調整できる。（業務システムが稼働していない夜間などに処理を行える） バッチ処理の構成 基本としてバッチ処理は以下の構成となっている。 入力して加工して出力する 例 入力 DBのデータ CSVファイル 加工 抽出する 削除する 集計する マージする 出力 DBに登録する CSVファイルに書き起こす メール送信 ファイル作成して転送 バッチを作る際の検討事項 構築する際に迷っ
Webのバッチ処理とオンライン処理のポイントとシステムの応答性能を学ぶ#3（社内勉強会）｜TechRacho by BPS株式会社
#1 処理時間とレスポンス時間 #2 バッチ処理とオンライン処理 #3 バッチ処理を設計するときの注意点（本記事） #4 オンライン処理とUXの工夫 #5 Railsのジョブ管理システムと注意点 #6 バッチ処理ですぐに使えるノウハウ、まとめ バッチ処理を設計するうえでの注意点 バッチ処理を設計する際は、処理時間がどの程度になるのかを事前に計測・見積し、その結果を元に実行計画を立てるのが重要です。少なくとも、所要時間の見通しもなくバッチ処理を作成するのは危険です。 一般的にはデータ量が増えれば処理時間も増えるので、データ量が増えたときに処理時間がどのように延びるかは予め見積もっておきます。たとえば「データが1万件のときは20分、件数が倍になると処理時間が4倍増える」といったように、データ増加に応じた処理時間を予測できるように計測やベンチマークを事前に実施しておく必要があります。 データ量と
https://jawsug-bigdata.connpass.com/event/200841/ BigData-JAWS 勉強会#16 LT 資料 UZOUでのAthenaの設計の話はブログにも書いていますので興味があればぜひ https://tech.speee.jp/entry/2020/11/10/111154
【レポート】サーバー⽴てっぱなしはもったいない︕ サーバーレスのみで構築する 中頻度&短時間バッチ処理 #PAR-29 #AWSSummit | DevelopersIO
本記事は、AWS Summit Japan 2021のセッション動画、「PAR-29: サーバー⽴てっぱなしはもったいない︕ サーバーレスのみで構築する 中頻度&短時間バッチ処理」のレポート記事です。 セッション概要 10 分に一度しか動かさないバッチ処理のためにずっと起動しっぱなしのサーバーを見てもったいないと感じたことはないでしょうか。 しかもその処理が 2,3 分もあれば全て終わってしまうとなれば尚更です。 本セッションでは AWS Step Functions を中心にサーバーレスなサービスを使用することで無駄な待機コストを無くし、かつレイテンシとスループットをできる限り上げたアーキテクチャを実際に設計・開発して得られた知見をご紹介いたします。 スピーカー 株式会社ゆめみ マーケティングソリューション事業部 遠藤 大輔 氏 セッションページURL https://summits-j
はじめに こんにちは, 基盤開発チームの奥山(okue)です. High Link では, BigQuery を活用してデータの分析や可視化, 機械学習への活用を行っています. アプリケーション DB の BigQuery へ転送には, AWS ECS Fargate + Embulk という構成でバッチ処理を実行していましたが, いくつか運用上の問題点がありました. 本記事では, BigQuery へDBのデータを転送するバッチ処理を, AWS Step Functions + AWS ECS Fargate + Embulk で実装し改善した話をします. 改善前の構成と問題点 構成 改善前のバッチ処理は下図のような構成でした. AWS RDS MySQL には 60個以上のテーブルがありますが, それらを BigQuery へ転送する処理を1つの ECS Task で実行していました.
https://shuuu-mai.connpass.com/event/132249/ の登壇時の資料です。
バッチ処理とCOBOLは時代遅れ？ | スラド IT
ITベンダーの間では、かねて『なぜみずほは、わざわざ高齢のエンジニアを雇ってまでCOBOLを使い続けるのか』が疑問視されていました といった、ITジャーナリストの発言を掲載している。 しかしながら、銀行業務の中ではバッチ処理が適した性質のものも多いだろうし、過去の資産を使いまわさないといけない局面はたくさんあるのだからCOBOLエンジニアが必要（たとえそれが他の言語に移植する仕事だとしても）だろうし、上記2点がみずほ銀行のシステムの「爆弾」だとは言い過ぎの気がするがどうだろうか。
「話を聞いたときは『やった！』と思いました」 そのとき、インテック ソリューション パワーの福井謙二氏は、心の中でガッツポーズをした。コニカミノルタが、複合機のデータ分析基盤「FDAS」（Field Data Analysis Services／エフダス）をMicrosoft Azureに移行すると決め、同社に直接支援を求めてきたからだ。2016年のことだった。 単に仕事が増えたことを喜んでいたわけではない。実は刷新するFDASは、2004年にインテック ソリューション パワーが構築したもの。以来12年間にわたって機能追加／運用を支援してきたのは福井氏のチームだった。しかし、2014年に行われたコンペでMicrosoft Azureへの移行プランを提案した同社ではなく、別のベンダーが提示したクラウド移行プランが採用された。 ところが、そのプロジェクトがうまくいかず、今度はインテック ソリュ
出典：日経クロステック、2020年4月7日 （記事は執筆時の情報に基づいており、現在では異なる場合があります） 「クラウドの利用コスト削減策では、サーバーレスが本命」。野村総合研究所 マルチクラウドインテグレーション事業部の遠山陽介GM（グループマネージャー）はこう話す。「AWSの利用料金の削減が期待できるだけでなく、サーバーを維持管理する費用を削減できる効果が大きい」。 サーバーレスとは何か。アマゾン ウェブ サービス ジャパン 事業開発本部 プラットフォーム事業開発本部 本部長の大久保順氏は「サーバーレスはユーザーがサーバーを立てる手間なく、必要な機能が使える。処理の増減に応じてキャパシティーを見積もる必要もない」と説明する。 AWSのサービスでは、イベント駆動型コード実行「AWS Lambda」、オブジェクトストレージ「Amazon S3」、NoSQLデータベース「Amazon Dy
Akka Stream＆クリーンアーキテクチャによるバッチ処理開発のススメ - フロムスクラッチ開発者ブログ
はじめに こんにちは。 フロムスクラッチでエンジニアをしている、関口と申します。 普段は、b→dashのログ基盤周りを中心に担当しています。 さて、弊社が運営するマーケティングクラウドサービス「b→dash」では Web サーバ周りを Rails で開発する一方で、 バッチ処理やツール群を golang、Java、Scala を用途や開発者のスキルに合わせて適宜選択して採用しています。 私自身は昨年の夏に Scala で実装されたバッチアプリケーションとしてのログ基盤を引き継ぎ、前Qは累積した負債を解決するためにリプレイスを計画し、その前段階とも言える新規のバッチ処理を Akka-Stream をバッチフレームワークとして採用し開発したので、そのアプリケーション開発での経験を少し書いていきたいと思います。 よろしくお願いします。 そもそもの課題について ログ処理基盤 開発したアプリケーショ
後編(冪等性の設計導入)へ はじめに こんにちは。タイミーのバックエンドエンジニアの中野です。よくGopherくんに似てると言われます。 本記事では月次で実行している「締め」のバッチ処理に関する一連の技術的改善について掲載します。弊社のプロダクト「タイミー」は著しい事業成長に伴いデータ量が急増してきています。そこで今回はデータ量の急増を背景とした中長期的なバッチ処理の設計改善にどのように取り組んできたのかをご紹介したいと思います。バッチ処理に関する技術的改善の記事は前編・後編の2部構成をとっています。前編はバッチ処理におけるトランザクションの改善をテーマに、後編ではバッチ処理に冪等性の設計を導入したことをご紹介したいと思います。 今回は前編のトランザクションの改善をテーマにご紹介します。すでに本番稼働しているアプリケーションにおいてトランザクションの範囲が大きい場合にどのような問題が発生し
【実務でもよく使う】SQS × Lamda × EventBridgeで実現する非同期&バッチ処理の基本 - Qiita
概要 応答速度の改善を目的にシステムに非同期処理を組み込むことはよくあることかと思います。AWSでもSQSを利用することで比較的簡単にジョブキュー処理を実現することができます。一方で、バッチ処理との組み合わせも踏まえると、AWSのサービスの選択肢は複数存在するため分かりにくいです。 そこで、本記事では以下を整理してみました。 本記事で得られる内容 非同期処理のメリット・デメリット AWSで非同期処理・バッチ処理を実現する方法 実際にSQS × lamda × EventBridgeの組み合わせでサンプルアプリを作成 知識整理編 まず、前提となる基礎知識や非同期処理・バッチ処理を実現するために必要なAWSリソースを簡単に整理してみます。ここで紹介する内容は概要に留めるため、より詳細を知りたい方はAWSの公式ドキュメントやBlackBelt等の資料をご確認ください。 非同期処理 非同期処理とは
batch バッチ処理とは、複数の処理をまとめて一括で処理する方法のことだ。複数の処理をバラバラで実行するよりも、まとめて実行した方が効率的ということがよくあるので、そういう時に使われる。 ところでバッチというのは聞き慣れない言葉だ。バッチの英語での綴りは batch である。バッジ badge ではない。 Batch processing が日本語でいうところのバッチ処理だ。 Computerized batch processing is the running of "jobs that can run without end user interaction, or can be scheduled to run as resources permit." (https://en.wikipedia.org/wiki/Batch_processing) 動詞 batch や動名詞
こんにちは, メディア開発部の今村です. この記事はGunosy Advent Calendar 2022の6日目の記事です. 昨日の記事は村田さんの「Digdag が突然止まった障害を受けて」でした. この記事 (前編) と明日の後編では, EventBridgeとECSでバッチ処理基盤を整備した話を紹介します. 背景 & 技術選定 スケジューリング 実行環境 監視 タスク管理リポジトリの作成 構成 ecspressoでタスク定義を管理する より開発しやすくするために おわりに 背景 & 技術選定 最近はプッシュ通知送信システムのリプレイスを行なっており, その一環でEC2インスタンス上のcronで動くバッチ処理を移行することになりました. これまでチームとして決まったバッチ処理置き場を持っておらず, LambdaやEKS CronJobなどバラバラな環境を使っていたため, これを機に共
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 | DevelopersIO
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 こんにちは！森田です。 この記事は「Amazon Connect アドベントカレンダー 2022」の15日目の記事となります！ Amazon Connectアドベントカレンダー2022は、クラスメソッドと株式会社ギークフィードさんでチャレンジしている企画となっており、他にもAmazon Connect関する様々な記事がありますのでぜひご参照ください！！ この記事では、Amazon Connect の通話データをバッチ処理で分析しその結果を Word 文書にする方法をご紹介します。 やりたいこと Amazon Connectの音声データの分析結果を AWS Lambda で Word 文書に変換し、 そのファイルパスを Amazon Co
最近、同僚の@sunakujira(F.Shibusawa)と共にバッチ処理を書くことが多いので備忘録も兼ねてバッチ処理を書く上で意識していることを紹介したいと思います。 大きくは以下の3点を意識してます。 1. 再実行（リカバリ）する前提で考える 2. 処理の実行時間は問題ないか 3. サーバー負荷は問題ないか 今回は再実行（リカバリ）する前提で考えるに絞って紹介しようと思います。 内的要因、外的要因問わずエラーは必ず起こるものだと想定し、再実行（リカバリ）できるようにしておくことはバッチ処理の最たる要件の一つと言えるでしょう。具体的には以下を意識しています。 冪等性を考慮した設計 冪等性とは、何度実行しても同じ結果が得られることを指します。例えば、デイリーの売上を計算しDBに結果を保存するようなバッチ処理を仮定すると、冪等性を担保するためには、対象データが存在する場合に削除する処理を仕
Ruby On Rails におけるバッチ処理の作り方 cronoを使用するには ログ出力切り替えに関して Ruby On Rails におけるバッチ処理の作り方 Railsでのバッチ処理を普通に検索すると、wheneverがヒットする。 別にこれでもいいんだけど、wheneverはcronに依存しているのが気に食わない。dockerで環境を作っていたりするとcronデーモンをキックするのに余計な手間がかかる。 次点でsidekiqを使う方法も出てくるけど、sidekiqはredisが必須要件となっていて、サーバの構成要件に口出しできない立場だったりするとそもそも導入はできない。 ということで、cronoというgemを使って実現する方法を以下に示す。 多分これが一番手数が少ない。 cronoを使用するには A time-based background job scheduler daem
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Web APIやバッチ処理を工夫 Go導入で生産性が安定、メンバーのモチベーションも向上
バッチ処理をECSに移行した話(GitHubActionsもあるよ)その1｜ハンズラボ株式会社
バッチ処理の改善 〜冪等性の設計導入〜 - Timee Product Team Blog
改善施策のプランニングが鍵 - 大規模バッチ処理のテストフレームワーク刷新プロジェクト
実例から学ぶAWS Batch x スポットインスタンスによる大規模バッチ処理
みずほ障害、重い4度目 鬼門のバッチ処理でつまずき - 日本経済新聞
バッチ処理おじさんがストリーム処理のシステムを開発するにあたって調べたこと
Spring Boot Batchで定期バッチ処理 | 株式会社ヌーラボ(Nulab inc.)
バッチ処理のリグレッションテスト自動化のトライ | メルカリエンジニアリング
SQSを使ったバッチ処理システムを考える - Qiita
Microsoft 365 Developer Proxy v0.10リリース。バッチ処理のサポートと$selectガイダンスの改善を導入
みずほシステム統合の謎、時代遅れのバッチ処理は「解体」できたのか
EventBridgeとECSでお手軽バッチ処理基盤 (後編) - Gunosy Tech Blog
SharePointのREST APIを使ってファイルをダウンロードする（バッチ処理）
Golangでのバッチ処理 個人的ベストプラクティス - blog.potproject.net
バッチ処理を作る際に押さえておくこと - Qiita
Athenaを使ったバッチ処理のTIPS
BigQueryへEmbulkで転送するバッチ処理を改善した話 - High Link テックブログ
Railsでサーバレスなバッチ処理 / Rails Batch Serverless
1カ月かかっていたバッチ処理が5日に──「10年先まで考えた」コニカミノルタのデータ基盤ができるまで
クラウドコスト削減の本命「サーバーレス」、バッチ処理で活用するための工夫
バッチ処理の改善〜トランザクション範囲の最小化〜 - Timee Product Team Blog
バッチ処理のbatchって何 - nakaoka3のなんでもブログ
EventBridgeとECSでお手軽バッチ処理基盤 (前編) - Gunosy Tech Blog
バッチ処理をコード化するときに意識していること｜福井 烈
Ruby On Railsで、cronoを使って最小手順でバッチ処理を作る