この記事はMERPAY TECH OPENNESS MONTHの15日目の記事です。 こんにちは。メルペイのPayment PlatformチームでPaymentServiceの開発を担当するエンジニアの @foghost です。 メルペイではマイクロサービスのアーキテクチャで決済システムを開発しています。その中でPaymentServiceは決済トランザクション管理の基盤サービスとして、下位層のサービス（外部サービスも含め）が提供する各種決済手段を利用して、上位層のサービス（メルカリ、NFC，コード払いなど）に必要な決済フローを共通APIとして提供しています。PaymentServiceが提供する決済処理に複数のサービスを跨いでお金の動きを正確に管理する必要があるので、作り始めた頃から決済トランザクション管理を最も重要な課題として、サービスを跨いでもデータの整合性が取れる仕組みを作ってき
サーバーレスが気になる開発者に捧ぐ「べき等性」ことはじめ 第一回〜べき等性 (冪等性/idempotency) ってなんだ!? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
そもそも、べき等性とは、どういうことを言うのでしょうか ? これは「ある操作を 1 回行っても複数回行っても結果が同じである」ことをいう概念です。 例えば、注文処理を考えます。画面インターフェースで、注文確定 / 送信ボタンを押すという操作で二度三度押してしまうユーザーがいます。これで同じ内容の注文が複数回登録されてしまったら問題です。こういったケースでは、画面側で連続して押せないような実装を追加したり (①)、サーバー側で同じ注文の処理であることを認識して適切に一つの処理と判断するようなこと (②) が必要です。 この例では、画面側の制御を入れたほうが簡単なように見えます。しかし、現実には画面とサーバーとの間のネットワークの問題や画面以外からの HTTP コールなどを考えると、このような重複リクエストが起こってしまうという可能性はゼロではありません。 このようなものへの対処として、サーバ
AWS for Games Advent Calendar 2022 9日目の記事です。 Game Server Services(GS2) ではゲームに必要となるサーバー機能をマイクロサービス化し、皆さんに提供しています。 マイクロサービスには所持品の管理や、ゲーム内ストア、課金通貨の残高管理など30を超える機能を用意しており、これらを組み合わせながらゲーム内の仕様を実現できるようにしています。 さて、マイクロサービスの最も難しい課題はトランザクションにあると私は考えています。 今回は Game Server Services がどのようにこの課題に立ち向かい、そして問題を解決しているかお話ししたいと思います。 マイクロサービスとトランザクションの両立がなぜ難しいのか モノリシックなサーバーシステムは、大体の場合「所持品の所持数量」と「課金通貨の残高」は同じRDBに保存しています。 そし
バッチ処理における冪等性の検討 ─ クラウドネイティブもしくは、はてなダイアリーの自動移行を題材に - Hatena Developer Blog
アプリケーションエンジニアのid:tkzwtksです。今回はバッチ処理の冪等性（べきとうせい、idempotence）について、どう考えるか／考えてきたかをご紹介します。 このエントリを書くきっかけとなったのは、はてなエンジニア有志で定期的に開催しているCloudNative推進会です。ここでは、社内のシステムをクラウドネイティブにしていくため「クラウドネイティブなシステムとはどういうものか？」を考えており、この会での「クラウドネイティブなバッチ処理」の議論も踏まえつつ説明していきます。 バッチ処理における冪等性とは メッセージ送信の信頼性を考慮する クラウドネイティブで可用性を高めるために どのような場合に冪等性を考慮すべきか 冪等な実装における3つのケーススタディ ケース1: n分前までに更新されたレコードを集計する ケース2: DB上の対象レコードを更新する ケース3: 対象ユーザー
Amazon SQSでFIFOだからってシステム全体が Exactly-Once になると思ったら大間違いだっていう話 - Smoky God Express
TL; DR Amazon SQS で Exactly-Once なキューを使おうとも冪等な処理を書くべき キューが Exactly-Once であるという性質はシステム全体が Exactly-Once になることを保証できない 結局マルチデータソースへの書き込みの問題が残る Designing Data-Intensive Applications (邦訳: データ指向アプリケーションデザイン） が良書でした 邦訳は未読1ですが原著の内容がいいのできっとだいじょうぶでしょう Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems 作者: Martin Kleppmann出版社/メーカー: O'Reilly Media発売日: 2017/
suzuri.jp ふとしたきっかけでこの「冪等性ロングスリーブTシャツ」を買い、好んで着ている。 エンジニア向けイベントに関連するX（Twitter）での会話の中で発見したものだったので、基本的には「冪等性（べきとうせい）」が通じるエンジニア向けイベントにしか着ていかないつもりだった。しかし、あまり長袖Tシャツを持っていないので、気候に合う日には「まあいいか」と思って着て外出している。 昨日はたまたま、東京都薬用植物園（東京都小平市）まで出向き、開催中の「ケシのパネル展」（4/22～5/15）を見に行った。ものがものだけに、話しかけられない雰囲気にしたいなと思って、わざと冪等性Tシャツを着た。天候的にもちょうどよかった。 それなのに、西武拝島線で最寄りである東大和市駅まであと一駅というところで、発車直前に列車に飛び込んできたお姉さんに「この電車、本川越まで行きますか？」と尋ねられてしまっ
Tech Talk vol.2 Backend Engineer 〜マイクロサービスの冪等性〜 を開催しました | メルカリエンジニアリング
はじめに こんにちは。メルペイBackend Engineerの@knsh14です。 12月18日にメルペイ主催でTech Talkを開催しました。 今回はテーマとして「マイクロサービスの冪等性」を掲げ、プロダクト開発をしているエンジニアたちに冪等性についてそれぞれの思いを語ってもらいました。 この記事では、当日の発表をそれぞれ簡単に紹介します！ 発表内容 500万ユーザーを支える残高の冪等性 まずはじめに私@knsh14が「500万ユーザーを支える残高の冪等性」と題して発表しました。 メルペイの残高を管理するマイクロサービスでどのように冪等性をもたせているかなどを解説しました。 コード決済における冪等性と整合性 次にCode Paymentチームの@susho0220が「コード決済における冪等性と整合性」というタイトルで、コード決済において冪等性があることによって決済が失敗したところから
はじめに 冪等性 Ansibleにおける冪等性 冪等性は主観によって決まる モジュールの冪等性 Playbookの冪等性 構成管理ツールについての研究の今 冪等であるかどうかをテストする系 品質モデルを提唱する系 セキュリティ系 IaCに関する研究はブルーオーシャン まとめ はじめに 僕は今，修士論文の執筆に向けて構成管理ツールと冪等性についての論文を複数読んでいます．それらを踏まえて，一般によく見られるAnsibleへの誤解についての自分の見解，そして2019年現在，構成管理ツールについてどういった研究がされているかを簡単に述べていきたいと思います． 冪等性 そもそも冪等性とは「ある操作を一回行っても，複数回行っても，結果が変わらない」という概念です．例えば， 例えば1や0と任意の自然数のかけ算 絶対値の計算 などが冪等性を持った処理に当たります． Ansibleにおける冪等性 さて，A
先日、個人開発のOSS - Submarine.jsのv1.0をリリースしました 記事はこちら Ansibleの冪等性に関する Tweet が、結構な反応をいただけたこともあり、今回は、私がSubmarine.jsで克服したかった「冪等性の限界」と、それを、どのような哲学で解決しようとしているかについて、説明しようと思います 冪等性の理想と現実 そもそも冪等性とは? という話は、各所で説明されていることなので簡単に 冪等性とは 同じ操作を何回実行しても、同じ結果が得られること インフラの構成管理の世界では、何回同じコードを実行しても、同じサーバの状態が得られるという意味で使われる Webの世界ではHTTPのGETやPUTメソッドは冪等だけど、POSTは冪等ではないなどと言われる Ansibleでは、この冪等性を簡単に実現するために、目的に応じて膨大な数のモジュールが提供されています Ans
この記事はギルドワークスのアドベントカレンダーの17日目です。 業務で冪等なAPIの実装を行う場面があったので、そのとき調べたものをまとめてみます。 冪等とは（冪等性と安全性） Webを支える技術（7章：HTTPメソッド）より 冪等：ある操作を何回行っても結果が同じになること 安全性：操作対象のリソース状態に変更を加えないこと 安全性あり 安全性なし 冪等なAPI Stripeのブログ記事を読んで、冪等なAPIの設計について調べてみました。 すべてのAPIのリクエストは失敗する可能性がある （クライアントとサーバーによる）分散システムでは、すべてのAPIは失敗する可能性があり、まず考えられるのは以下のような理由です。 ・The initial connection could fail as the client tries to connect to a server. ・The cal
Tech Talk vol.2 Backend Engineer 〜マイクロサービスの冪等性〜connpassハッシュタグ：#merpay_techtalk質問板merpay社で開催された勉強会です。 参加者のツイートも含めてメモを残しておきます。 かなり雑なのでコンテキストが読み取れないところもあると思いますが、 なにかの参考になれば幸いです。 （@sonatard さんの実況にとても助けられました。 ありがとうございました！） 1. 500万ユーザーを支える残高の冪等性登壇者：（@knsh14） スライド 参考スライド （ベースとなる話は↑これ） 残高管理サービス（Balance Service）使ってるDBはCloud Spanner 外部サービスや他のマイクロサービスには依存してない DeleteなしでCRUのみ かなりシンプルで冪等性を担保しやすい 冪等性があるAPI最初に成功し
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイクロサービスにおける決済トランザクション管理 | メルカリエンジニアリング
マイクロサービスとトランザクション - Qiita
「冪等性Tシャツ」から生まれてしまった会話 - 海波パソコン
Ansibleの冪等性について深く考えたことはありますか？ - ぽよメモ
単純な冪等性にかわる新しい哲学が、構成管理には必要だという話 - Qiita
RailsのAPIでリクエストに冪等性を持たせられるように実装してみた - Qiita
【merpay Tech Talk】マイクロサービスの冪等性に関する勉強会