マイクロサービス化は本当に難しい
はじめに この記事は、AEON Advent Calendar 2023の21日目です🎉 イオンスマートテクノロジー株式会社（通称AST）のCTO室TechLeadチームの@t0doroki_takaです。弊社ではSREチームの発信に勢いがありますが、アプリケーションレイヤーよりの話題も積極的に発信していければと思います。 自分の敗戦の振り返り 以前、大規模ECシステムのリプレース案件に関わった時(そして敗戦したとき)の振り返りです。 今回取り上げるケーススタディは、システム全体(連係するシステム含む)としては段階的移行ではありましたが、主ターゲットとなるシステムは、全EC機能を包括する大規模なシステムで、それをフルスクラッチでリプレースするものでした。 巨大なモノリス構造であったため、マイクロサービスアーキテクチャに移行することで、サービス提供のアジリティを確保することが目的の一つでし
全てのAPIをProtocol Buffersで管理する / Manage all APIs with Protocol Buffers
techplayの登壇資料です。 https://techplay.jp/event/908123 #ikyu_TP
モジュラモノリスにおけるトランザクション設計の考え方 / transaction design on modular monolith
モジュラモノリスにおいてトランザクションはどうあるべきなのかについて整理している資料が少ない気付きがあったので「簡易的に」整理しました
最近「マイクロサービスって大変だな」と感じることが多いので、書いてみた。 単なる感想です。 pospomeのマイクロサービス歴 面倒なのは技術ではない モノリスだと厳しい 楽しくもある 宣伝 pospomeのマイクロサービス歴 以下の企業で7年ほどマイクロサービスに携わっている。 DeNA（ゲームプラットフォーム） メルカリ（認証認可基盤） DMM（DMMプラットフォーム） DeNA, メルカリではサーバサイドエンジニアとして仕事をしていて、 DMMではプラットフォーム事業本部という120人のエンジニアが在籍する開発組織のアーキテクトとして仕事をしている。 それぞれの会社で開発の規模感、開発体制、自分の役割などが異なるので、 直接比較できないが、やはりポジション的に今のDMMが一番大変だなーと感じる。 面倒なのは技術ではない マイクロサービスというと "分散トランザクション" とか "通信
マイクロサービスからモジュラーモノリスを経て新マイクロサービスへ - Techtouch Developers Blog
バックエンドエンジニア兼万年ダイエッターの taisa です。テックタッチは、以前マイクロサービスからモジュラーモノリスを経て新マイクロサービスへの切り直しを実施しました。本記事では、マイクロサービス・モノリスについて簡単に触れながらテックタッチがどういったプロセスでマイクロサービスの切り直しを実施したかを紹介します。 はじめに マイクロサービスとモノリス マイクロサービスとは マイクロサービスの利点 モノリスとは 単一プロセスモノリス モジュラーモノリス 分散モノリス テックタッチの場合 初期の頃の構成イメージ マイクロサービス切り直し前 特徴 モジュラーモノリス化 サービスの移行 別ドメイン境界でサービス切り直し イベントストーミング マイクロサービス切り直し後 DB 統合へ続く まとめ 参考 はじめに テックタッチは初期の頃からマイクロサービスアーキテクチャを採用していますが、一部の
実践！モノリスからマイクロサービス！Event Stormingによるドメイン駆動設計から実装まで / AWS_Dev_Day_2023_E_3
AWS Dev Day 2023 Tokyo. E-3 「実践！モノリスからマイクロサービス！Event Stormingによるドメイン駆動設計から実装まで」 2023/06/23 at AWS Dev Day 2023 Tokyo
Asynchronous over Synchronous / 同期という思い込み�世界は非同期で構成されている
サーバーレスサービスである API Gateway や Lambda を使って 同期的な REST API を構築されている方は多いのではないでしょうか。サーバーレスで REST APIをつくると、リクエストの分だけの課金であったり、デフォルトの可用性が与えられたりメリットは大きいです。ただし、サーバーレスの真価は非同期アーキテクチャにあります。このセッションではさまざまなサーバーレスの非同期パターンを紹介するとともに、実際の顧客事例においてどのようなユースケースで非同期系サーバーレスが利用されているかをご紹介いたします。
ジョインしたチームのマイクロサービスたちを再計装した話 / Getting started tracing instrument micro service with OpenTelemetry
OpenTelemetry Meetup の登壇スライドです。 https://opentelemetry.connpass.com/event/296353/
こんにちは、プラットフォームチーム所属のまこたすです。 昨今、様々な場で「モジュラーモノリスを導入した」という話を目にするようになってきました。弊社でも昨年からモジュラーモノリスの試験導入を進めており、社内でノウハウが徐々に溜まってきたため、今回 技術ブログ で なぜ導入したのかと知見の共有 をさせていただけたらと思います。 想定読者 モノリスなアプリケーションの分割を検討している Railsへのモジュラーモノリスの導入を検討している 話さないこと チーム体制がどうあるべきかという観点の話 以下アーキテクチャについての詳細 モノリスアーキテクチャ モジュラーアーキテクチャ 背景 今回「モジュラーモノリスを導入した」というタイトルですが、最初に検討・導入に至るまでの背景について触れたいと思います。 hacomonoという組織・サービスの成長 hacomonoというサービスはリリースから現在に
Let’s Architect! Designing architectures for multi-tenancy | Amazon Web Services
AWS Architecture Blog Let’s Architect! Designing architectures for multi-tenancy Understanding architectural patterns for multi-tenancy has become crucial for architects and developers aiming to deliver scalable, secure, and cost-effective solutions. Isolating tenant data is a fundamental responsibility for Software as a Service (SaaS) providers. In this edition of Let’s Architect!, we talk about
この記事は、Merpay Tech Openness Month 2023 の7日目の記事です。 はじめに こんにちは。メルコイン Payment Platform チームの @sapuri です。 メルコインではマイクロサービスアーキテクチャを採用しており、お客さまによりアプリの操作が行われると、それぞれのマイクロサービスを横断してリクエストが処理されます。 メルコインの Payment Platform は、お客さまの残高の管理や各種帳簿の作成などの決済事業のための基盤となる仕組みを提供しています。 そのなかで、Payment Service は決済トランザクションを管理するサービスとして、下位層のサービスが提供する各種決済手段を利用して、上位層のサービスが共通して利用できる決済 API を提供しています。 この記事ではマイクロサービスアーキテクチャにおける分散トランザクション管理の課
レッドハットでインテグレーションのためのミドルウェアのテクニカルサポートを担当している山下です。以前、SAGAやEventStormingについて記述すると宣言していたのですが、実際のところ私が書くよりもよっぽど良い日本語の書籍や記事がでていて、もう書く必要もないと思っていたのですが、今回機会をいただいたので約４年ぶりに”マイクロサービスとメッセージングのなぜ"の希望編を書くことになりました。今回の記事ではSAGAやEventStormingの詳細は書かないのですが、私がイベントやメッセージングが必要と考えるに至った危機感や希望を共有します。そうした意味ではむしろ原点ともいえる内容になっています。なお今回記事にはとりわけ個人的な経験や意見が多く含まれますので、事前に異論は認めることにします。 以前の記事はこちら： 「マイクロサービスとメッセージングのなぜ [概要編]」 「マイクロサービスと
![マイクロサービスとメッセージングのなぜ [希望編] - 赤帽エンジニアブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/b23d4fe2216c99e2d9695c6dfa89ca7dfbabcf5b/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Ft%2Ftyamashi-oss%2F20231218%2F20231218002927.jpg)
こんにちは、バックエンドを中心に開発をしています、野島といいます。 ソフトウェアテスト自動化カンファレンス2023に「マイクロサービスアーキテクチャへのIntegration Test導入のすゝめ」というお題で登壇しました。 そちらで発表した内容を記事にしつつ、当日話しきれなかった内容についても書きます。 発表は下記の内容を話しました。 Integration Testの導入を決意した背景にあった課題 Integration Testの導入/運用での工夫 Integration Testを導入して得られたメリット まとめ 本記事では、Integration Testを以下の定義で扱います。 マイクロサービスが依存する外部コンポーネントをモック化せずに行うAPIテスト。 外部コンポーネントとは、具体的にはデータストア、外部サービス、テスト対象が依存するマイクロサービス、などを指します。 テス
徹底解説マイクロサービス 〜マイクロサービスのメリット、デメリット、なぜマイクロサービスを選択するのか〜 /why do you choose microservices architecture
JAWS UG 函館勉強会 Vol12 徹底解説マイクロサービス 〜マイクロサービスのメリット、デメリット、なぜマイクロサービスを選択するのか〜
アプリケーション開発でマイクロサービスが用いられる際、APIで接続・統合する場合がほとんどですが、APIだけで成り立つようなマイクロサービスにおけるAPI設計の方法はあまり深掘りされてきませんでした。 本書では堅牢で運用・保守に適したマイクロサービスAPIを設計・実装するためのテクニックを解説しており、REST APIとGraphQL APIの両方を取り上げてどのように設計すればよいのかを説明しています。 例はPythonが使われていますが、どの言語でも機能する原則とパターンに従っているので、Python以外の言語を利用している方でも心配ありません。マイクロサービスAPIの構築手法に自信がない方や、どうすればよりよい構築ができるのかを知りたい方におすすめです。 目次 Part 1 マイクロサービスAPIの概要 第1章：マイクロサービスAPIとは何か 第2章：基本的なAPIの実装 第3章：マ
DMM.go #6 の登壇資料です。 https://dmm.connpass.com/event/295065/
移行が大変だもん
マイクロサービス導入により生まれた組織課題に対するソリューションとしてのTiDB/Developers Summit 2024 TiDB Sponsor Session
マイクロサービス導入により生まれた組織課題に対するソリューションとしてのTiDB/Developers Summit 2024 TiDB Sponsor Session
どうも、ばやしです。 2/27に行われたJoe Yoder : Domain modeling techniques for designing microservicesに参加してきたので、参加レポです。 なお私はDDDに詳しいわけでもなく、英語もおぼつかないので誤っている部分があるかもしれませんが、ご了承いただければと思います。 www.eventbrite.com どんな研修だったの？ ドメインモデリングを中心にドメイン駆動設計(以下DDD)の概念を学びつつ、それがどうマイクロサービスに役立つのかを学ぶ研修でした。 具体的にピザ屋のシステムや、交通違反システムを例に挙げてDDDの概念を理解しつつ、ワークショップではクレジットカードシステムを題材にイベントストーミングやマイクロサービスアーキテクチャ設計などを行いました。 全編英語だったのですが 英語で講義 日本人同士で日本語でワークシ
マイクロサービスは優れたアーキテクチャーだが、設計・開発・運用の難度が高い。そこで、マイクロサービスの利点を一部手放す代わりに導入の難度を下げた「モジュラーモノリス」が注目されている。本特集は、モジュラーモノリスとは何かを解説するとともに、このアーキテクチャーを採用した4社の事例を取り上げる。 マイクロサービスは、それぞれのサービスを独立したアプリケーションとして構築し、それらが互いにデータをやり取りすることで全体のシステムを構築するアーキテクチャーだ。米国の巨大IT企業や日本のメガベンチャーが導入し、大きな成果を上げている。 マイクロサービスが生まれた背景には、巨大IT企業の事業成長のスピードにシステム開発のスピードが追いつけなくなったことがある。実際のシステムには、事業の成長に合わせて高い頻度の変更が必要なサービスと、それほど変更が必要ないサービスがある。 ところがそれぞれのサービスが
Version Skew
There is a phrase that is very frequently used at Google and other big tech companies. It’s a nice and short phrase. And the problem it describes is broadly applicable to modern software engineering. Yet it doesn’t seem to be used much outside of the Google diaspora, and there doesn’t seem to be an alternative naming for the concept either. The phrase is version skew or for short: skew. Version sk
本特集では、SBI生命保険のエンジニアが現場で培ったAWS（Amazon Web Services）のコストを抑えるテクニックを紹介する。今回はマイクロサービスアーキテクチャーの導入について説明する。 現在のシステム開発は素早いビジネス変化に追従することが求められている。こうしたシステムに欠かせないアーキテクチャーの1つが「マイクロサービスアーキテクチャー」である。マイクロサービスアーキテクチャーは従来のモノリシック（一枚岩）なシステム構成とは異なり、システムを独立性の高い小さなサービスの集合体として構成し、サービス間をRESTfulなAPI（アプリケーション・プログラミング・インターフェース）などで連携させる。 マイクロサービスアーキテクチャーはコスト削減につながる。理由の1つが改修での開発工数・テスト工数を抑えやすいことだ。マイクロサービスアーキテクチャーは小さなサービスの集合体なので
How Netflix Really Uses Java
Transcript Bakker: I'm going to talk about how Netflix is really using Java. You probably know that Netflix is really just about RxJava microservices, with Hystrix and Spring Cloud. Really, Chaos Monkeys are just running the show. I'm only half getting here because a few years ago, this was actually mostly true, maybe except the Chaos Monkeys. This stack was something that we were building on in t
GitHub - mercari/grpc-federation: gRPC Federation generates a gRPC server by writing a custom option in Protocol Buffers
Imagine a system with a backend of multiple microservices. Instead of the client directly communicating with each microservice, it's more efficient to use a dedicated service (BFF - Backend for Frontend) to aggregate information and send it back to the client. However, as the system grows, determining which team should handle the BFF service becomes unclear. This is where Federated Architecture, l
概要 この記事は、OpenTelemetryについて全く知らない人に向けた入門記事です。前半でOpenTelemetryとは何か解説し、後半でデモアプリケーションを動かしながら、理解を深めていきます。 この記事の執筆時点のOpenTelemetryの最新バージョンは、1.8.0です。参照する公式ドキュメントや動作確認するデモアプリケーションのバージョンも1.8.0です。 OpenTelemetryとは OpenTelemetryは、マイクロサービスアーキテクチャーで分散されたサービス（アプリケーション）の健全性や性能を示す「テレメトリーデータ」を生成、収集、管理、エクスポートするためのOSSです。 大規模な分散システムでは、健全性や性能を把握することが極めて困難なため、迅速なトラブルシューティングのためにはテレメトリーデータの収集が求められます。分散されたサービス（アプリケーション）からテ
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Introduction Recently there has been substantial discussion around the downsides of service oriented architectures and microservice architectures in particular. While only a few years ago, many people readily adopted microservice architectures due to the numerous benefi
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. Microservices can be a very effective approach for delivering value to your organization and to your customers. If you get them right, microservices help you to move fast by making cha
実践マイクロサービスAPI | 翔泳社
いかにしてマイクロサービスを構築し APIによってそれらを統合・推進するのか 【本書の内容】 本書は José Haro Peralta, "Microservice APIs", Manning Publications 2023 の邦訳版です。 理解・利用・保守が容易なAPIで、堅牢なマイクロサービスを設計・実装する実践的なテクニックを学べる一冊です。 著者が長年培ってきた指導力をもとにPythonベースの例を豊富に掲載し、哲学よりも実装に重点を置いたマイクロサービス実践の書です。どの言語でも機能する原則とパターンに従って、堅牢なマイクロサービスAPIを構築し、テストして保護し、クラウドにデプロイする方法を学ぶことができます。 【目次】 Part 1 マイクロサービスAPIの概要 第1章：マイクロサービスAPIとは何か 第2章：基本的なAPIの実装 第3章：マイクロサービスの設計 Pa
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
モノリスとマイクロサービスを経てモジュラモノリスを導入した実践事例
一休.comのアーキテクチャ変遷から考えるサービス分割の勘所
マイクロサービスアーキテクチャは大変という話 - pospomeのプログラミング日記
モノリスなRailsにモジュラーモノリスを導入した話 - hacomono TECH BLOG
メルコイン決済基盤における分散トランザクション管理 | メルカリエンジニアリング
マイクロサービスとメッセージングのなぜ [希望編] - 赤帽エンジニアブログ
マイクロサービスアーキテクチャへのIntegration Test導入のすゝめ
APIでマイクロサービスを構築する実践的な手法を解説 『実践マイクロサービスAPI』発売
マイクロサービスの効率的な監視〜不安定な依存先との闘い〜
Node.js v12 を使い続けていたのはなぁぜなぁぜ？
ドメインモデリングとマイクロサービスの研修に参加してきたよ - ばやしのブログ
マイクロサービス信仰を打ち破る新技術、「モジュラーモノリス」の正体
コスト削減に効く「マイクロサービス」、AWSでどう実装すると安くなるか
OpenTelemetry超入門 - Qiita
Introducing Domain-Oriented Microservice Architecture
Enabling Microservice Success