こんにちは、かたいなかです。 最近転職会議のバッチ処理をすべて冪等にし、処理失敗時に気軽に再実行できるようにすることで運用性を向上させました。 今回の記事ではその取り組みを紹介します。 再実行すると重複送信につながるメール送信バッチ もともと、転職会議では一部のバッチ処理を除いてほとんどのバッチ処理が冪等に作られていました。しかし、残りの冪等ではないバッチ処理では、失敗するたびに毎回アドホックな対応をする必要があり運用性に課題を抱えていました 残っていたもので一番大きな問題を抱えていたのがメール送信バッチです。これは、以下の図のようなアーキテクチャで動いており、ワーカーにメールを送信するように指示するメッセージをSQSにキューイングする処理を行うものです。 このメール送信バッチのキューイング処理が途中で失敗した際に、雑に再実行してしまうと同一のユーザに重複してメールが送信されてしまう事にな
こんにちは！LayerXエンジニアの高際 @shun_tak です！ この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので（大歓迎です！）、Amazon SQSとGoの machinery を活用して非同期処理しているよ！ AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ！ では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
なお上記の「大量配信」とは、「1～3月分の四季版を4月15日から配信開始し、1週間で全家族に配信完了する」などのように、「新しい期間の1秒動画をはじめて配信してから、その時点で条件を満たす全家族への配信が完了するまで」の期間を指します。1秒動画の生成・配信の大部分はこの大量配信期間に行っていることから、これを「大量配信」と呼んでいます。 生成・配信の流れ 1秒動画の生成・配信は、図1のとおり(1)対象家族抽出、(2)素材選択、(3)動画エンコード、(4)配信、の4段階で実現しています。以下ではその詳細を説明します。 図1 1秒動画の生成・配信の流れ (1)対象家族抽出 1秒動画の生成・配信処理は、基本的にはバッチ処理として毎日実行しています。そのはじめに行うのは、「その日、どの家族に、どのバージョン・どの期間の1秒動画を生成・配信するか」を取り出す対象家族抽出です。この処理は四季版
定期実行処理を crono_trigger に移行したお話 - Kaizen Platform 開発者ブログ
こんにちは、エンジニアの ryopeko です。 今回は Data Platform と呼ばれているデータ集計基盤の Rails プロジェクトで定期実行用に使われていた gem、 sidekiq-scheduler を crono_trigger に移行したお話です。 なお Data Platform の記事については以前ブログで紹介したこちらの記事も合わせてご覧ください。 KaizenPlatform では非同期処理には長らく Sidekiq が使われており、Data Platform でも非同期処理が必要な部分で使われております。 Data Platform では集計処理を cron 形式で指定した日時に定期実行するという機能があり、そこでは sidekiq-scheduler が使われていました。 この sidekiq-scheduler は Redis に各種メタデータを入れておき
Cloud Composerによるデータバリデーション ～常に正確なデータ集計を実現するために～ - ZOZO TECH BLOG
こんにちは。ECプラットフォーム部データエンジニアの遠藤です。現在、私は推薦基盤チームに所属して、データ集計基盤の運用やDMP・広告まわりのデータエンジニアリングなどに従事しています。 以前、私たちのチームではクエリ管理にLookerを導入することで、データガバナンスを効かせたデータ集計基盤を実現しました。詳細は、以前紹介したデータ集計基盤については以下の過去記事をご覧ください。 techblog.zozo.com 本記事では、データ集計基盤に「データバリデーション」の機能を加えて常に正確なデータ集計を行えるように改良する手段をお伝えします。 データバリデーションとは バリデーション導入後のデータ集計基盤 ジョブネット構築 テンプレートによる効率的なDAGの作成 DAG間の依存関係の設定方法 バリデーションDAGのタスク構成 まとめ データバリデーションとは データバリデーションとはデータ
このエントリは、はてなエンジニアAdvent Calendarの9日目の記事としてかかれました。 AWS S3にはバッチオペレーションというマネージドサービスがあって、これは指定したバケット/オブジェクトに対して一括で何かしらの操作ができる。例えば「バケット内のすべてのオブジェクトを別バケットにコピーしたい」とかそういう時に使うと便利。 aws.amazon.com その一括操作ではLambdaを利用することもできる。Lambdaを使うとかなり柔軟な操作ができるようになるが、ドキュメントを見ただけでは最初どうしたらいいかわからなかった上に、利用する機会もそんなに無いので覚えられない。その他にも最初に知ってたらよかったみたいなのが細々とあるので、そういうのを少しまとめておく。 なお、このエントリではS3 バッチオペレーション自体のジョブの登録のやり方自体は割愛する。まずS3バッチオペレーショ
こんにちは、食べログシステム本部長の京和です。 今年の4月から本部長になりました。さらに4月に娘が生まれました 本エントリでは食べログで1年を通じて取り組んだ、大規模なレガシーシステムの段階的な改善について紹介します。[翻訳] Shopifyにおけるモジュラモノリスへの移行 に続いて2記事目のアドベントカレンダーになります。 どのように段階的に進めるか 食べログは今年で15年目のサービスで、Railsになってからは13年が経過しています。これだけ歴史があればあちこちにガタが来ているのは当然で、無数にある課題に対してどこからどのように取り組んでいくかを最初に決める必要がありました。 まず最初の前提として以下のように考えました。 既存のビジネスや開発を止めるような悪影響を与えない。むしろなるべく早くポジティブな影響を与えていきたい。 これだけ歴史のあるシステムを改善していくのは長い時間がかかる
その名もecschedule。だいぶ前から作っていたのだが、この度実戦投入した。 https://github.com/Songmu/ecschedule Nature社では、ECS上でGoのサービスを動かしており、バッチ系の定期実行タスクもECS Scheduled Taskを利用している。 最近バッチの本数が増えてきて管理したくなり、このツールを導入しました。 便利だとは思うが、かなり社内事情にべったりであるため、フィードバック歓迎です。具体的には以下の制約を前提としています。 Rule名がユニークであること RuleにはTargetが1つだけ紐付いており、TaskのContainer Overridesでタスクを実行している ecspressoにかなり影響を受けており、ECS Scheduled Task用のecspressoのような作りになっています。 インストール % brew
Google Cloud Batchを使ってバッチの処理待ち時間を1/30以下にしたので紹介させて欲しい - DeLMO（identify）エンジニアブログ
この記事について 今回、Google CloudのBatchを利用した動画変換処理を実装したので、どのようにしたのか、どこにハマったのか（ハマっているのか）、その効果についてまとめました。端的に現状を3行でまとめると、以下のようになります。 動画変換処理にGoogle CloudのBatchを使いました GPUを利用することで処理時間を短くできました コンテナでGPUをうまく使えずシェルスクリプトとGoで作ったバイナリを活用しています（コンテナ化の知見募集中です） はじめに はじめまして。identify株式会社 CTOの@suthioです。 弊社、identify株式会社では動画素材サービスDeLMOの運営を行っています。 service.delm0.jp 簡単に言うと、動画素材を提供するサービスとなります。 課題 弊社ではGoogle Cloud Platformをインフラとして利用し
この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在数えてみたところ240個以上のバッチがGKE上で動いているようです。 AI・機械学習チームでは2019年頃から約４年ほどGKE上でMLバッチを運用しています。 その間にコストの最適化や安定したバッチの運用などに力を入れてきました。 この記事では、主にスケールインとコスト最適化について説明しようと思います。 チームのMLについて全体を把握したい場合は以下の記事が詳しいです。 www.m3tech.blog GKEの
This guide introduces the basic concepts of tf.Transform and how to use them. It will: Define a preprocessing function, a logical description of the pipeline that transforms the raw data into the data used to train a machine learning model. Show the Apache Beam implementation used to transform data by converting the preprocessing function into a Beam pipeline. Show additional usage examples. Setup
バックエンドエンジニアの横塚です。 Railsで中規模以上のサービスを運用していると、大量のレコードやcsvをバッチで処理したい場面などが出てくると思います。 当たり前のように意識できている人も多いかと思いますが、今回はおさらいの意味も込めてバッチで大量データを扱うときに気をつけていることをまとめていこうと思います！ 大量レコードに対して処理をするときはfind_eachやfind_in_batchesを使う DBからデータを取得してきて処理をしたい場合、eachで処理しようとすると対象データがすべてメモリに展開されてしまいますが、find_eachは1行ずつメモリに展開するため、レコード数を気にせず処理をすることができます。 User.each do |user| # なんか処理 end ↓ User.find_each do |user| # なんか処理 end また、find_in_
Hey, friends! Welcome back to Week in Review, the newsletter where we recap the top TechCrunch headlines from the past seven days. Get it in your inbox every Saturday AM by signing up here. Ready? Let
AWSでサーバレスな定期バッチ環境を作るには結局どれ使えばいいの？（Lambda vs Fargate vs Batch） - Qiita
それでは、一つずつ説明していきます。 環境構築の容易さ Lambdaはコードをアップロードさえすれば、実行環境が構築でき、その導入障壁の低さが魅力と言えます。 FargateとBatchはコンテナベースのコンピューティングサービスであり、事前にバッチアプリケーションを含んだDockerイメージを用意しておく必要があります。 実行環境の拡張性 Lambdaは標準で使用できるランタイム（プログラム言語とバージョン）に限りがあります。ただ主要言語はほぼサポートされており、カスタムランタイムも作成できるため、さほど不自由さを感じないのではないでしょうか。 また、そのままだと標準ライブラリしか使えないため、 Serverless Framework や AWS SAM を使用して、ローカルの実行環境をパッケージ化してデプロイする運用が一般的かと思います。ただ、OS依存のネイティブライブラリの導入には
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. T O K Y O 2 0 1 9 . 1 0 . 0 3 - 0 4 AWS / © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. T O K Y O 2 0 1 9 . 1 0 . 0 3 - 0 4 AWS / G - 5 6,000 91 1.5 650 0 450,000 900,000 1,350,000 1,800,000 2 0 1 4 / 4 2 0 1 4 / 5 2 0 1 4 / 6 2 0 1 4 / 7 2 0 1 4 / 8 2 0 1 4 / 9 2 0 1 4 / 1 0 2 0 1 4 / 1 1 2 0 1 4
はじめに メルペイバックエンドエンジニアの @r_yamaoka です。この記事は、Merpay Tech Openness Month 2022 の16日目の記事です。 私がつい最近まで所属していた加盟店管理業務を担うマイクロサービス群（以下、加盟店管理システム）では様々なバッチが稼働しています。本記事ではそれらの実装において過去に発生したトラブルやヒヤリハットから得た知見を共有したいと思います。 背景 本題に入る前に加盟店管理システムでどのような箇所にバッチ処理が採用されているかについて少し解説します。バッチ処理を採用するか否かの観点としては大きく下記2点があります。 機能要件上バッチ処理を採用しなければならない 非機能要件の都合で同期処理を採用できない 前者の例としては「配送業者との伝票情報連携」や「行政システムとの連携処理」というものがあり、これは連携先である配送業者や行政の業務の
AWSがAWS Fargateのバッチサポートを導入
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
[アップデート] AWS Batch がコンピューティング環境での Amazon Linux2 の利用をサポートしました | DevelopersIO
先日のアップデートで Amazon Batch がコンピューティング環境での Amazon Linux2 の利用をサポートしました。 AWS Batch now has integrated Amazon Linux 2 support 更新箇所 ここで設定できるようになりました。(デフォルトは Amazon Linux1 と記載されています。) 終わり。 というのもアレなので、構築して確認してみましょう。 はじめに そもそも Amazon Linux 2 と Amazon Linux との違いについては、下記弊社ブログ、または よくある質問 - Amazon Linux 2 | AWS をご参照下さい。 [速報]5年長期サポートのAmazon Linux 2が一般公開されました AWS Batch についても、基本的な概念や使い方を把握している方を対象とします。 AWS Batch とは
![[アップデート] AWS Batch がコンピューティング環境での Amazon Linux2 の利用をサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8b6a5e677943d47b5040bfb6df4202cf8e687dc1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-batch.png)
システムの自動化を行う際によく使われるのがBashスクリプトになるでしょう。また、WindowsであればBatchファイルが使われます。macOSとLinuxは同じBashスクリプトでも良さそうですが、Windows向けに別な言語で作るのは面倒です。 そこで使ってみたいのがBatshです。共通のスクリプトでBashスクリプトとBatchファイルを生成します。 Batshの使い方 デモ。文字列の定義や簡単な計算処理。右側に生成されているのはBashスクリプトです。 同じコードからBatchを生成します。 コマンドの実行。Bashスクリプト。 こちらはBatch。 ループ処理。 Batch。構文がかなり違います。 ファイルの一覧を操作する場合。 Batchだと全く異なる構文で出ているのが分かります。 BatshとBashは近い構文で出ていますが、Batchは全く違う場合もあるのが分かります。標
[レポート] Amazon MWAA と AWS Step Functions を比べてみた #AWSreInvent #API307 | DevelopersIO
[レポート] Amazon MWAA と AWS Step Functions を比べてみた #AWSreInvent #API307 こんにちは、muroです。AWS事業本部 サービス開発室でopswitchの開発・運用を担当しています。opswitchは今年の1月にApache Airflowベースのアーキテクチャから、AWS Step Functionsに移行しました。 今回 re:Invent で Amazon MWAA と AWS Step Functions のそれぞれの長所短所を学ぶセッションがあったので、自身の理解度を確認するために受講してきました。 セッションの概要 タイトル Comparing Amazon MWAA and AWS Step Functions 概要 Organizations looking to orchestrate ETL data pipel
![[レポート] Amazon MWAA と AWS Step Functions を比べてみた #AWSreInvent #API307 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2efed04be58c890b30e2b72fa65ffa4b49765237/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-session-report.png)
Spring Boot + Spring Batchで簡単なバッチサービスを作ってみる - Reasonable Code
Springのチュートリアルページをもとに、Spring Boot + Spring Batchで簡単なバッチサービスを作ってみました。具体的には、CSVファイルを読み込み、ファイル内の文字列を加工してデータベースに格納するバッチです。今回使用するデータベース（HSQLDB）はメモリ上で利用するものなので、事前にMySQLやOracleといったクライアントを用意する必要はありません。 環境 準備 まずは作業用のディレクトリを作成し、そのディレクトリに移動します。 以下のようなディレクトリ構造になっているはずです。 続いて、build.gradleを作成します。依存性にSpring BatchとHSQLDBを指定しているのがポイントです。 build.gradle データを作成する インプットファイルとなるCSVファイルを作成します。first name（名）, last name（姓）の順
こんにちは。メルペイでバックエンドエンジニアとして従事している a-r-g-v です。私は加盟店さまの初期審査やサポートを行うための社内向け管理画面（以下、社内Tool）や加盟店さま向けの管理画面を開発しているチームに所属しています。この記事はメルペイ加盟店リソースを作成するシステムとそこにある課題、それらに対する改善の取り組みついて紹介させていただきます。 また、本記事は、Merpay Tech Openness Month 2021 の16日目の記事です。 背景 メルペイではマイクロサービスアーキテクチャを採用しています。我々のプロダクトでは、精算サービス、銀行サービス、決済サービスなどの複数マイクロサービスを組み合わせて加盟店さまの体験を作り上げており、メルペイ内でもトップクラスに他のマイクロサービスと接続しています。 メルペイを導入するためにはまず加盟店申込みフォームから申込みをし
Jenkins でバッチを運用する - Qiita
はじめに 私達は php で書かれたバッチ、500 個ほどを Jenkins で運用しています。 Jenkins でバッチを運用するようになった理由と移行したときに行った設定等をここにまとめます。 発生していた問題 私達はバッチ実行用のサーバー上の cron にすべてバッチを登録することで定期実行させていました。 当時のバッチの数はだいたい 100 個ほどだったと思います。（現在は 500 個ほど） 長い間 cron で管理されいましたが、問題を多数抱えていたので Jenkins でを抱えていたため移行しました。 バッチが正しく動作したのかわからない ログを見るための仕組みがなかったので、バッチのほぼすべてログを書き出さないものとなっていて正しく動作しているのか分かりにくい ログを書き出す仕組みがあってもそれを管理するのは大変 権限周りの管理の問題 管理の都合からルート権限持つ人が cro
AWS Batch および Amazon SageMaker を使用したマルチリージョンサーバーレス分散型トレーニング | Amazon Web Services
Amazon Web Services ブログ AWS Batch および Amazon SageMaker を使用したマルチリージョンサーバーレス分散型トレーニング AWS でグローバル展開を築き、スケールにアクセスすることは、数多くのベストプラクティスの 1 つです。そのような規模とデータの効率的な利用 (パフォーマンスとコストの両方) を実現するアーキテクチャを作成することで、重要なアクセスが規模であることを確認できます。たとえば、自動運転車両 (AV) の開発では、データは運転キャンペーンにローカルで地理的に獲得されます。機械学習 (ML) から生成データと同じ AWS リージョンでの計算パイプライン実行することに至るまで、関連性があり、より効率的です。 さらに工夫するために、たとえば、組織が米国のサンフランシスコで運転キャンペーンの 4K ビデオデータを獲得したとします。並行して
バッチ処理系の刷新とArgo Workflow移行
これはPTAアドベントカレンダーの7日目の記事です。 5年間運用されてきたバッチ処理系を刷新し、Argo Workflowを用いたバッチ処理系に移行したのでその紹介記事です。 背景 GKE上でバッチ処理のワークロードを実行しており、ワークフローエンジンとしてDigdagを採用していました。ユースケースとしては定期実行のバッチ処理、ETL、機械学習等。 Digdagを用いたワークフロー定義はシンプルかつ運用に必要な機能を提供してくれています。実際のワークフロー内部の処理としては、ワークフローの各タスクにおいては基本的にはロジックは持たずKubernetes Jobの実行のみを行います。そのためにDigdagとKubernetes Job間で協調動作するための仕組みが独自で用意されていました。このようなバッチ処理系が約5年程運用されてきました。 この仕組で今まで元気に動いてはいたのですが次のよ
[ JJUG CCC 2022 Spring ] AWS Batch × Spring Batch でクラウド最適なバッチを構築した話 - Qiita
[ JJUG CCC 2022 Spring ] AWS Batch × Spring Batch でクラウド最適なバッチを構築した話JavaAWSspring こんにちは。Red Frasco でインフラエンジニアをやっている猪熊です。 JJUG CCC 2022 Spring にて、 AWS Batch × Spring Batch でクラウド最適なバッチを構築した話 というタイトルで登壇させていただきました。 セッション内容の紹介と登壇のふりかえりをしようと思います。 セッションの紹介 まずは、セッション内容について紹介します。 アーカイブ動画が公開されました。良ければこちらからご覧ください。 https://youtu.be/ArEY_yIt0GI 自己紹介 詳細は割愛します。 香川県出身で、うどんが好きなインフラエンジニアです。 バッチ基盤を構築する背景 物件情報がポータルサイト
![[ JJUG CCC 2022 Spring ] AWS Batch × Spring Batch でクラウド最適なバッチを構築した話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/afc69bb582a974de3b79281a82968ae22927f803/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJTIwSkpVRyUyMENDQyUyMDIwMjIlMjBTcHJpbmclMjAlNUQlMjBBV1MlMjBCYXRjaCUyMCVDMyU5NyUyMFNwcmluZyUyMEJhdGNoJTIwJUUzJTgxJUE3JUUzJTgyJUFGJUUzJTgzJUE5JUUzJTgyJUE2JUUzJTgzJTg5JUU2JTlDJTgwJUU5JTgxJUE5JUUzJTgxJUFBJUUzJTgzJTkwJUUzJTgzJTgzJUUzJTgzJTgxJUUzJTgyJTkyJUU2JUE3JThCJUU3JUFGJTg5JUUzJTgxJTk3JUUzJTgxJTlGJUU4JUE5JUIxJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lYjA4OWUxZDdlY2JlMzdkMTEyMmU2ZWUzOTNmOTQzNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzaW5va3VtYSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZDI3YmJmZDEwZmEzNzRiMzQxNWExY2I0YzMzYzEwZGI%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-UmVkIEZyYXNjbw%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3Dbe0aa45cae9ba92fba824bbc99a64088)
はじめに この記事は、Merpay Tech Openness Month 2022 の7日目の記事です。 こんにちは。メルペイのBackendエンジニアの@kaznishiです。 この記事では、私が所属しているチームで担当している加盟店精算のマイクロサービスにおけるバッチ処理のリグレッションテスト自動化の取り組みを紹介します。 まだBackendエンジニアしかテストシナリオの整備ができるようになっていなかったり、開発フローが整備しきれているわけではないですが、現時点でどのようなテストを回しているか、そして今後どのように改良していきたいかを述べたいと思います。 前提知識 加盟店精算のマイクロサービスの性質として、毎月決まったタイミングでの締め処理があります。この締め処理の中で、メルペイを導入してくださっている加盟店さまの売上を集計し、加盟店さまの銀行口座へ振込する金額の計算を行っています。
AsakusaとTsurugiとバッチ処理（昨年に引き続き） - 急がば回れ、選ぶなら近道
[昨年に引き続き] Tsurugiについて 詳細は以下 okachimachiorz.hatenablog.com ・これは前回の繰り言 要するにRDBを作りましょう、という話。いろいろインメモリーでメニーコアとか、ECC(Epoch-based Concurrency Control)とか、いろいろ特長はあるけど、目標としている機能の一つに「writeバッチ処理に強い」というものがある。 ■バッチ処理の困難さ このあたりも繰り言にもなる。基本的にまず、そもそも論としてwrite処理は既存RDBとは相性が良くない。これは単純に整合性を持たせる(serializable)ためのコストが大きいことによる。そもそも相性の良くないwriteをさらに大量に、かつ一度に書き込むバッチはさらに重ねて相性が良くない。 以下、今年一年の進捗的な話 ■Tsurugiの現状として 現在、Tsurugiでは本格的
JAWS-UG 横浜 re:Invent re:Capにて「AWS Batch Fargate対応は何をもたらすか」という話をしました #reinvent | DevelopersIO
話した内容 ざっくりとAWS BatchにおいてEC2をコンピューティング環境にするケースだと以下のようなことが課題となっていました。 今回のアップデートの概要としてはコンピューティング環境がFargateになったことにより上記のような課題が解決したことになります。 これまでFargateを使ったBatch処理が全然できなかったかというと、実はそんなことないんです。これまでもCloudwatchイベントを用いたFargateの定期処理はこれまでもサポートされていました。 この機能は非常に便利ですしこれからも積極的に検討して良い機能だと思います。では表題の通り今回アップデートのAWS Batch Fargate対応は何をもたらすかですよね。これを考える上でBatch処理とは何かを整理する必要があります。なんとなくBatch処理という言葉を使いますが、これは大きく分けて以下の2つがあると思いま
Spring Batch on Kubernetes: Efficient batch processing at scale Introduction Batch processing has been a challenging area of computer science since its inception in the early days of punch cards and magnetic tapes. Nowadays, the modern cloud computing era comes with a whole new set of challenges for how to develop and operate batch workload efficiently in a cloud environment. In this blog post, I
GitHub - gazette/core: Build platforms that flexibly mix SQL, batch, and stream processing paradigms
Gazette makes it easy to build platforms that flexibly mix SQL, batch, and millisecond-latency streaming processing paradigms. It enables teams, applications, and analysts to work from a common catalog of data in the way that's most convenient to them. Gazette's core abstraction is a "journal" -- a streaming append log that's represented using regular files in a BLOB store (i.e., S3). The magic of
AWS BatchがジョブレベルでEFSボリュームをサポートするようになっていました | DevelopersIO
こんにちは。AWS事業本部のKyoです。 AWS BatchがジョブレベルでEFSボリュームをサポートするようになっていました。 BatchでEFSを使うためには一手間が必要だったのでより簡単に使えるようになったというアップデートです。 AWS Batch now supports EFS volumes at the job level これまでとこれから、そして何がうれしいのか これまで EFS自体の利用は可能でした。一方で、マウントには起動テンプレートが必要でバッチインスタンス（EC2）レベルでのマウントが必要でした。具体的な方法は以下にあります。 これから ジョブ定義からEFSを指定することでマウントできるようになりました。マウントのための起動テンプレートは不要になります。 何がうれしいのか Batchのストレージに何を使うかは、扱うデータのサイズや求められる計算スピードなどを踏ま
Google Cloud Batch ジョブを VPC を指定して実行してみた。 | DevelopersIO
こんにちは、みかみです。 3年ぶりに東京いったら、普通に移動するだけで乗り換えだなんだすごく歩く必要があって、筋肉痛になりました。。（運動不足ここに極まれりw Google Cloud の Batch とは 予め VM インスタンスを準備しなくても、自動でインスタンスを立ち上げてくれて、ワンショットなバッチ処理を実行できるサービスです。 処理内容は、スクリプトを直接指定、またはコンテナイメージで指定することができます。 処理終了次第使用したインスタンスは削除してくれるので、長時間バックグラウンドで動かしたいバッチ処理をコスト効率よく実行することができます。 あらゆる規模でバッチジョブをスケジュールできる新しいマネージド サービス、Batch のご紹介 ｜ Google Cloud ブログ Get started with Batch ｜ Batch ドキュメント Google Cloudの
オンプレで実行されているバッチ (cron + shell script) をAWS Lambdaに移植する方法 - エムスリーテックブログ
こんにちは、エンジニアリンググループの大和です。 弊社ではエンジニアリンググループ全体で継続して脱オンプレを進めており、これまでに多くのDBやサーバを停止してきました。 www.m3tech.blog また、直近ではコンシューマチームでの取り組みが紹介されています。 www.m3tech.blog 私が所属するマルチデバイスチームでも、前年度までに管理しているサービスのオンプレDBおよびサーバを廃止しました。 コンシューマチームの記事でも説明されていますが、脱オンプレではサーバアプリケーションとDBだけを移行するだけでは足りず既存のバッチや監視周り等含めて移行する必要があります。 この記事では、そのうちcronでshell scriptを実行しているような簡単なバッチをAWS上に移行する方法を紹介します。 構築するシステムの構成 インフラ構築 VPCに紐付けるLambdaの設定 Lambd
Before jumping into Celery. Let's start with the most straightforward tool to help us understand background tasks. FastAPI already has a BackgroundTasks class that can help us implement simple background tasks. Let's create a virtual environment to isolate our project requirements. python -m venv env Now, all we need is FastAPI and a web server e.g. Uvicorn or Hypercorn. Before installing these le
この記事について この記事は Opt Technologies Advent Calendar 2019 17日目の記事です。 担当プロダクトで利用したStep Functionsにて、失敗を通じて得た知見をまとめたものです。 自分について 中途入社して1年ちょっとのエンジニア。チームマネージャになって半年くらい。 入社してからクラウドインフラを学習し始め現在もチーム内で主に担当をしていますが、アプリケーションコードも状況に応じて実装する感じです。 昨年はこんな記事書きました。 やらかし背景 著者の担当プロダクトにて、外部APIから取得できるそこそこのサイズのデータをプロダクト側のDBに格納する処理があります。 ELT的なステップを踏んで処理することを検討しStep Functionsを採用しました。 Extractorが外部APIからデータファイル(csv)を取得しS3バケットに格納 L
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
転職会議から冪等でないバッチ処理を根絶した話 - LIVESENSE ENGINEER BLOG
AI-OCRを支える非同期処理アーキテクチャ - LayerX エンジニアブログ
1秒動画のつくり方 ― 「家族アルバム みてね」における動画エンコードパイプラインとその最適化事例 | gihyo.jp
AWS S3バッチオペレーションのちょっとしたtipsなどのご紹介 - たきざわの日記
食べログの大規模なレガシーシステムを段階的に改善していく取り組み - Qiita
ECSのScheduled Taskを管理するツールを作った | おそらくはそれさえも平凡な日々
GKEでMLバッチ運用のコツ - エムスリーテックブログ
Get Started with TensorFlow Transform | TFX
Railsで大量データを扱うときに気をつけていること - LCL Engineers' Blog
TechCrunch • Startup and Technology News
20191004_AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化_2
バッチ処理実装時に考慮すべき事項 | メルカリエンジニアリング
Batsh - Bash/Batchのスクリプトを生成するプログラミング言語 MOONGIFT
加盟店リソース作成時の整合性担保の検討と実装 | メルカリエンジニアリング
バッチ処理のリグレッションテスト自動化のトライ | メルカリエンジニアリング
Spring Batch on Kubernetes: Efficient batch processing at scale
Background Tasks in FastAPI
Step Functions & Fargate バッチでやらかしたこと - Qiita