タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
サーバーレスが気になる開発者に捧ぐ「べき等性」ことはじめ 第一回〜べき等性 (冪等性/idempotency) ってなんだ!? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
そもそも、べき等性とは、どういうことを言うのでしょうか ? これは「ある操作を 1 回行っても複数回行っても結果が同じである」ことをいう概念です。 例えば、注文処理を考えます。画面インターフェースで、注文確定 / 送信ボタンを押すという操作で二度三度押してしまうユーザーがいます。これで同じ内容の注文が複数回登録されてしまったら問題です。こういったケースでは、画面側で連続して押せないような実装を追加したり (①)、サーバー側で同じ注文の処理であることを認識して適切に一つの処理と判断するようなこと (②) が必要です。 この例では、画面側の制御を入れたほうが簡単なように見えます。しかし、現実には画面とサーバーとの間のネットワークの問題や画面以外からの HTTP コールなどを考えると、このような重複リクエストが起こってしまうという可能性はゼロではありません。 このようなものへの対処として、サーバ
バッチ処理における冪等性の検討 ─ クラウドネイティブもしくは、はてなダイアリーの自動移行を題材に - Hatena Developer Blog
アプリケーションエンジニアのid:tkzwtksです。今回はバッチ処理の冪等性（べきとうせい、idempotence）について、どう考えるか／考えてきたかをご紹介します。 このエントリを書くきっかけとなったのは、はてなエンジニア有志で定期的に開催しているCloudNative推進会です。ここでは、社内のシステムをクラウドネイティブにしていくため「クラウドネイティブなシステムとはどういうものか？」を考えており、この会での「クラウドネイティブなバッチ処理」の議論も踏まえつつ説明していきます。 バッチ処理における冪等性とは メッセージ送信の信頼性を考慮する クラウドネイティブで可用性を高めるために どのような場合に冪等性を考慮すべきか 冪等な実装における3つのケーススタディ ケース1: n分前までに更新されたレコードを集計する ケース2: DB上の対象レコードを更新する ケース3: 対象ユーザー
こちらはエムスリー Advent Calendar 2023の15日目の記事です。 デジスマチームの田口です。 去年のアドベントカレンダーでイベント駆動アーキテクチャの記事を書きましたが、ありがたいことにデジスマ診療のサービスとしての成長も著しく、開発も一層活発になっています。 去年と比較してどれくらいスケールしたかはCTOでありデジスマPdMでもある山崎さんがpmconf 2023で発表した資料にもあるので、興味がある方は是非ご覧ください。 speakerdeck.com 本記事では去年の記事でも少し触れた「冪等性」について、デジスマチームでの考え方・実装についてまとめます。 なぜ冪等性が重要か Idempotency-Key ヘッダ デジスマでの実装 おわりに We are hiring!! なぜ冪等性が重要か デジスマ診療（以降デジスマ）はQRコードによるチェックインや自動後払い、オ
2019.12.18 Wed. 1 Tech Talk vol.2 Backend Engineer ~マイクロサービスの冪等性 ~ バッチ処理と冪等性 kaznishi
net/http/httptest.Server のアプローチをテスト戦略に活用する / Go Conference 2023
Tech Talk vol.2 Backend Engineer 〜マイクロサービスの冪等性〜 を開催しました
Tech Talk vol.2 Backend Engineer 〜マイクロサービスの冪等性〜 を開催しました Backend Author: knsh14 はじめに こんにちは。メルペイBackend Engineerの@knsh14です。 12月18日にメルペイ主催でTech Talkを開催しました。 今回はテーマとして「マイクロサービスの冪等性」を掲げ、プロダクト開発をしているエンジニアたちに冪等性についてそれぞれの思いを語ってもらいました。 この記事では、当日の発表をそれぞれ簡単に紹介します！ 発表内容 500万ユーザーを支える残高の冪等性 まずはじめに私@knsh14が「500万ユーザーを支える残高の冪等性」と題して発表しました。 メルペイの残高を管理するマイクロサービスでどのように冪等性をもたせているかなどを解説しました。 コード決済における冪等性と整合性 次にCode Pay
冪等性とかもすごいよね
そう！その言葉が欲しかったって思ったもの。便利。 欲しい言葉を作ってくれたひと、浸透させてくれたひとに感謝したい。 anond:20220403143312
本記事はコネヒト Advent Calendar 2019の23日目のエントリーになります。 今日はマネジメントの話がしたくなったのでマネジメントの話をします。マネジメントは「ナマモノ」なので、その人のパーソナリティはもちろん、関係性や状況によって、有効な手段が変わるので銀の弾丸はないのですが、ナマモノだからこそ、現場のノウハウを公開していく必要があると考えています。 また、マネジメントのテクニックを公開すること=手の内をメンバーに見せることになるので、公開することを敬遠するマネージャーもいますが、僕は正直でいることが最大の戦略だと思っているので、自分の考えの整理も兼ねて書いてみたいと思います。 というわけで誰かの一助になれば幸いです。 冪等性マネジメントとは？ 僕がマネージャーとして意識していることの一つに「冪等性マネジメント」（Idempotent Management）というのがあり
朝でも夜でも mac でも windows でも商用環境でも日本でもアメリカでも、add(2, 3)は5 透過的 ( transparency ) とは「存在するものを存在しないように見せる」感じらしい 透過の反対は仮想らしい 透過 → あるけど見えないガラス 仮想 → ないけど見えるホログラム つまり「参照透過性」は「参照があるけどないように見せる」ということ 変数の再代入やグローバル変数の参照が処理内になければ、処理内では変数の参照について心配する必要がないので、参照が透過的と言える 冪等性 処理を何回実行しても同じ結果になること 現状を気にせず叩けば良いので、chef やマイクロサービス等のたくさんの状態を更新する処理と相性が良い （一部が失敗しても全てが成功するまで叩き直せば良いから） 身近な例だと「オン | オフ」みたいなトグルボタンは冪等性がないけど「オフにする」ボタンは冪等性
こんにちは！ 2022年2月からLuupにデータエンジニアとしてジョインした河野(@matako1124) です！ 元々マイクロモビリティに興味があり、データ基盤もこれからきっちり作っていきたいという0からのフェーズで、お声がけをいただけたことに感謝です。 現在、Luupのデータチームの構成は、Data Strategy部の中にData EngineeringチームとData Scienceチームの２つがある形となっています。 Data Engineeringチームとしては前回の記事執筆者@t-kurimuraと私の二人で取り組んでいます！ ということで、まだ入社数ヶ月の私ですが、Luupでのデータ基盤としてGoogle Cloud Composerを導入し、どのように冪等性を担保した設計にしようとしているかご紹介していきたいと思います。 注意 記事執筆から半年ほど経過しており、現在の最新
前編(トランザクション範囲の最小化)へ はじめに こんにちは。タイミーのバックエンドエンジニア中野です。 前編では締めのバッチ処理におけるトランザクションの範囲を最小化した技術的改善をご紹介しました。トランザクションの範囲をバッチ処理全体から最小限の範囲に変更したことにより、バッチ処理が失敗した場合に請求レコードの処理が途中まで完了している状態が発生するようになりました。後編では、処理対象の請求レコードに対し状態を持たせることでバッチ処理全体での冪等性を担保し、バッチ処理が途中で失敗した場合でも安全に処理を再開できるようにした取り組みをご紹介します。 はじめに 締めのバッチ処理とは 現状の課題認識 実施した施策 冪等性とは 冪等性を実現する方法 バッチ処理への適用 達成できたこと 今後の課題 スループット向上とリソース最適化 まとめ 締めのバッチ処理とは まずは前編のおさらいになりますが、
データエンジニアの遠藤です。 TVer Advent Calendar 2023の24日目の記事になります。 はじめに 本年（2023年）、Google Cloudのビッグデータ基盤として展開されるBigQueryでは、データガバナンスツールであるDataformがGA（Generally Avaialble）になりました。 cloud.google.com このDataformの登場により、BigQuery上でデータを利活用しやすいように変換する（データマートを生成する）システムの構築が容易になりました。 本記事では、Dataform上において、定常実行やリトライ実行を容易にするために、冪等性が担保される設計のテクニックを3点紹介します。（Dataformの基本的な使い方については触れませんのでご注意ください） 1. SQLX内のクエリに変数を用いる DataformはSQLXと呼ばれる
垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。
カテゴリー アクセス解析 (2) Analysis (1) Android (7) Apache (6) API (2) Amazon Web Services (66) CloudSearch (1) EC2 (3) RDS (1) SES (1) Backbone.js (1) BigQuery (1) Blockchain (3) Blogger (1) Book (119) Bootstrap (4) Configuration Management (3) Cacti (1) Capistrano (2) CentOS (15) Chef (1) Chrome (10) ClamAV (1) CMS (2) CODA (1) CoffeeScript (1) CORESERVER (4) 仮想通貨 (1) CSS (22) Sass (6) CSV (1) DNS (1) 資料
はじめに 冪等性 Ansibleにおける冪等性 冪等性は主観によって決まる モジュールの冪等性 Playbookの冪等性 構成管理ツールについての研究の今 冪等であるかどうかをテストする系 品質モデルを提唱する系 セキュリティ系 IaCに関する研究はブルーオーシャン まとめ はじめに 僕は今，修士論文の執筆に向けて構成管理ツールと冪等性についての論文を複数読んでいます．それらを踏まえて，一般によく見られるAnsibleへの誤解についての自分の見解，そして2019年現在，構成管理ツールについてどういった研究がされているかを簡単に述べていきたいと思います． 冪等性 そもそも冪等性とは「ある操作を一回行っても，複数回行っても，結果が変わらない」という概念です．例えば， 例えば1や0と任意の自然数のかけ算 絶対値の計算 などが冪等性を持った処理に当たります． Ansibleにおける冪等性 さて，A
先日、個人開発のOSS - Submarine.jsのv1.0をリリースしました 記事はこちら Ansibleの冪等性に関する Tweet が、結構な反応をいただけたこともあり、今回は、私がSubmarine.jsで克服したかった「冪等性の限界」と、それを、どのような哲学で解決しようとしているかについて、説明しようと思います 冪等性の理想と現実 そもそも冪等性とは? という話は、各所で説明されていることなので簡単に 冪等性とは 同じ操作を何回実行しても、同じ結果が得られること インフラの構成管理の世界では、何回同じコードを実行しても、同じサーバの状態が得られるという意味で使われる Webの世界ではHTTPのGETやPUTメソッドは冪等だけど、POSTは冪等ではないなどと言われる Ansibleでは、この冪等性を簡単に実現するために、目的に応じて膨大な数のモジュールが提供されています Ans
※ yum については、文字通りPyCon発表以前に想像した「やっそうなこと」で、 実際の動作は前述のスライドのとおりです。 気になるのは copy モジュールの場合このあたりの動作はどう変わってくるか。 yum と同じく「とりあえずファイルを転送」というのは考えづらいです。 というのも、 stat コマンドを使っても、ファイルサイズまでしかわからない cp コマンドの挙動的に、 inodeは変化しない ファイルの内容にかかわらずChangedは変化する ファイルの内容変化はわからない copy モジュールには backup パラメーターが存在する となるため、「なにかしらの判定を挟まないと、OK/Changedが判定できない」と考えられそうです。 $ date > test.txt && cp test.txt var && stat var/test.txt File: var/tes
この記事はギルドワークスのアドベントカレンダーの17日目です。 業務で冪等なAPIの実装を行う場面があったので、そのとき調べたものをまとめてみます。 冪等とは（冪等性と安全性） Webを支える技術（7章：HTTPメソッド）より 冪等：ある操作を何回行っても結果が同じになること 安全性：操作対象のリソース状態に変更を加えないこと 安全性あり 安全性なし 冪等なAPI Stripeのブログ記事を読んで、冪等なAPIの設計について調べてみました。 すべてのAPIのリクエストは失敗する可能性がある （クライアントとサーバーによる）分散システムでは、すべてのAPIは失敗する可能性があり、まず考えられるのは以下のような理由です。 ・The initial connection could fail as the client tries to connect to a server. ・The cal
Tech Talk vol.2 Backend Engineer 〜マイクロサービスの冪等性〜connpassハッシュタグ：#merpay_techtalk質問板merpay社で開催された勉強会です。 参加者のツイートも含めてメモを残しておきます。 かなり雑なのでコンテキストが読み取れないところもあると思いますが、 なにかの参考になれば幸いです。 （@sonatard さんの実況にとても助けられました。 ありがとうございました！） 1. 500万ユーザーを支える残高の冪等性登壇者：（@knsh14） スライド 参考スライド （ベースとなる話は↑これ） 残高管理サービス（Balance Service）使ってるDBはCloud Spanner 外部サービスや他のマイクロサービスには依存してない DeleteなしでCRUのみ かなりシンプルで冪等性を担保しやすい 冪等性があるAPI最初に成功し
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Idempotency-Keyヘッダによるマイクロサービスの冪等性の担保 - エムスリーテックブログ
バッチ処理と冪等性 / 20191218_merpay_techtalk
コード決済における冪等性と整合性 / #merpay_techtalk
冪等性マネジメントを高めるための思考と試行 - comix
副作用と参照透過性と冪等性を理解して、テストでドメインを磨く - Qiita
冪等性を担保したGoogle Cloud Composerの設計と実装
バッチ処理の改善 〜冪等性の設計導入〜 - Timee Product Team Blog
GCP版Dataformで冪等性を担保する設計ポイント3つ - TVer Tech Blog
AWSサーバーレスアーキテクチャのための冪等性（べきとうせい）入門
冪等性 (べきとうせい) を理解して設計・実装するために役立つ記事まとめ | CodeNote
Ansibleの冪等性について深く考えたことはありますか？ - ぽよメモ
単純な冪等性にかわる新しい哲学が、構成管理には必要だという話 - Qiita
Ansibleのcopyモジュールはどうやって冪等性を担保しているのか
RailsのAPIでリクエストに冪等性を持たせられるように実装してみた - Qiita
【merpay Tech Talk】マイクロサービスの冪等性に関する勉強会
news.yahoo.co.jp
www.yomiuri.co.jp
www.yomiuri.co.jp
azumi.nk.awe.jp
plaza.rakuten.co.jp/masamichi0828
nzdaisuki.com