サービスメッシュは、マイクロサービスアーキテクチャの様々な問題点や課題を解決します。Kubernetes クラスターへの導入もそこまで複雑ではなく、サービスメッシュから得られるメリットは計り知れません。 カナダ・バンクーバーオフィスの山口です。 Kubernetes でマイクロサービスのアプリケーション開発をしていると、一度はサービスメッシュという言葉を聞いたことがあるのではないでしょうか。 マイクロサービス間の通信制御において、サービスメッシュは非常に強力な武器となります。しかし、Kubernetes クラスターへサービスメッシュを導入するのは多少敷居が高く、躊躇している方も多いかと思います。 今回はサービスメッシュの概要についてご説明します。そして次回以降で、EKS クラスター上で Istio や App Mesh といった主要なサービスメッシュの導入方法についてお伝えしていきます。
2016年頃「サービスメッシュ」という用語は、マイクロサービス、クラウドコンピューティング、DevOpsの分野に登場しました。楽天的なあるチームは、2016年にこの用語を使用して彼らの製品である Linkerd を説明しました。コンピューティングの多くの概念と同様に、実際には、関連するパターンとテクノロジーの長い歴史があります。 サービスメッシュの登場は、主に IT ランドスケープの最悪の状況によるものでした。開発者は、複数言語 (ポリグロット) アプローチを使用して分散システムの構築を開始し、動的なサービスディスカバリーを必要としていました。運用は一時的なインフラストラクチャの使用を開始し、避けられない通信障害を適切に処理し、ネットワークポリシーを適用したいと考えていました。プラットフォームチームは、Kubernetes などのコンテナオーケストレーションシステムの採用を開始し、Envo
このパターンには2つの背景があります。ひとつは、技術者がマイクロサービスアーキテクチャパターンを採用して、複数の(理想的には単一目的で、独立してデプロイ可能な)サービスで構成されるアプリケーションを開発するようになったことです。ふたつめは、企業がコンテナ(Dockerなど)、オーケストレータ(Kubernetesなど)、プロキシ/ゲートウェイ(Envoyなど)といった、クラウドネイティブなプラットフォームテクノロジを支持するようになったことです。 意図 サービスメッシュが解決しようとする問題は次のようなものです。 サービスディスカバリ、ルーティング、アプリケーションレベル(レイヤ7)の非機能通信要件を処理する言語対応の通信ライブラリを、個々のサービス用にコンパイルする必要性の排除 外部サービスのネットワークロケーション、セキュリティ認証、サービス品質(QoS)目標など、サービス通信設定の外
eBPFプログラムを手軽にコーディング、ビルドし、コンテナ形式にパッケージングしてシェアできる「Bumblebee」オープンソースで登場
eBPFプログラムを手軽にコーディング、ビルドし、コンテナ形式にパッケージングしてシェアできる「Bumblebee」オープンソースで登場 Linuxカーネルのソースコードを変更することなく、カーネルの持つさまざまな機能をフックすることでカーネルに対してプラグインのように機能拡張を実現する技術「eBPF」が、昨年から急速に注目されはじめています。 参考：Google、Facebook、マイクロソフトらが、OSカーネルをプログラマブルに拡張できる「eBPF」の開発と発展を目指す「eBPF Foundation」を結成 そのeBPFを手軽にコーディング、ビルドし、コンテナ形式にパッケージングしてシェアできるツール「Bumblebee」がオープンソースで公開されました。 開発しているのは、APIゲートウェイのGloo EdgeやサービスメッシュのGloo Meshなどの製品を展開しているSolo.
【レポート】サービスメッシュは本当に必要なのか、何を解決するのか #AWSSummit | DevelopersIO
こんにちわ、札幌のヨシエです。 AWS Summit Tokyo 2019 3日目のA3-03で行われたセッションのレポートを書きましたのでご査収頂ければと思います。 登壇者 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 原 康紘 AWS 上でのマネージド・サービスメッシュを実現する AWS App Mesh や、Kubernetes ワークロードとの親和性が高い Istio など、サービスメッシュの世界には数々のプロダクトやソリューション、アイデアが生まれつつあります。本セッションでは、マイクロサービスにおけるベストプラクティスの集大成とも言えるサービスメッシュについて、その解決すべき課題と人々が熱狂する理由、サービスメッシュそのものの必要性について掘り下げます。同時に、サービスメッシュを実現する上で最も重要なコンポーネントの一つとも言える En
マイクロソフト、サービスメッシュの新たなオープンソース実装「Open Service Mesh」発表。Envoy採用、CNCFへ寄贈予定
マイクロソフト、サービスメッシュの新たなオープンソース実装「Open Service Mesh」発表。Envoy採用、CNCFへ寄贈予定 マイクロソフトは、Kubernetes対応のサービスメッシュ（Service Mesh）をオープンソースで実装するプロジェクト「Open Service Mesh」を発表しました。 We are beyond excited to introduce Open Service Mesh (OSM), a lightweight and extensible #servicemesh that implements @SMI_spec and runs on @kubernetesio @EnvoyProxy! Check out what we've been up to here:https://t.co/l6fy4OUorO — Open Servi
はじめに SREの須恵です。 弊社では、昨秋からサービスメッシュの導入を開始していたのですが、なかなかアウトプットできていなかったので書くことにしました。 マイクロサービス化とgRPC 弊社で進行中の技術テーマの1つに「マイクロサービス化」があります。 ビジネスの成長拡大に伴い開発組織も拡大し続けており、どんどん人数が増えています。この増加していく開発者の力を、可能な限り効果的に活かして開発するため、マイクロサービス化に舵を切ることになりました。 （マイクロサービスの動機と目指す結果の詳細はいずれ誰かが記事化することに期待） 今年の1月に弊社初のマイクロサービスとしてリリースされた2つのサービスがあり、それらはgRPCで通信することが決定されていました。また今後も、マイクロサービス間の同期通信にはgRPCの採用が広がる見込みです。 なぜgRPCか モノリスをマイクロサービス化する、あるいは
How eBPF will solve Service Mesh - Goodbye Sidecars - Isovalent
Service mesh is a concept describing the requirements of modern cloud native applications with regards to communication, visibility, and security. Current implementations of this concept involve running sidecar proxies in each workload or pod. This is a pretty inefficient way of solving these requirements. In this post, we will look at an alternative to the sidecar model that provides a transparen
広告技術部のUT(@mocyuto)です。 最近またポケモンGOをちょっとやり始めてしまいました。 今回はオンラインの広告サービスをSpotInstanceを利用したECSで構築し、2ヶ月ほど運用した話を紹介したいと思います。 はじめに アーキテクチャ設計 広告配信 ログ設計 EBSのログ運用 デプロイ設計 canaryデプロイ まとめ はじめに 今まで広告の部署では、コンテナの本番運用はバッチのみでした。 tech.gunosy.io ECS上でdigdagを運用しているものを以前紹介しましたが、オンラインでの大きなトラフィックが流入するものをECSに構築するのは初めてです。 今回、新しいサービスを作成するタイミングだったのでECS*1上にサービスを構築することにしました。 アーキテクチャ設計 今回は単一のECS Clusterに管理画面のサービスと配信系のサービスを同居させ、コスト効率
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する はじめに Kubernetes Meetup Tokyoの懇親会用に話のネタとしてメモを残す。 2021年に注目すべきCNCFの5つのテクノロジーとは？ KubeConNA(2020)最終日のkeynote session、Keynote: Predictions from the Technical Oversight Committee (TOC) - Liz Rice, CNCF TOC Chairで、CNCFのTOC(技術統括委員会)の委員長を務めるLiz Riceさんが、CNCFの2021年の技術的展望として紹介した5つの技術要素である。(順不同) カオスエンジニアリング エッジコンピューティングとしてのKubernetes サービスメッシュ Web
この記事は、Developer Productivity Engineering Campブログシリーズの一環として、Platform DX Teamの@micnncimがお届けします。 はじめに メルカリでは社内エンジニアの多くがマイクロサービスを開発に携わっているため、Platform Developer Experience（DX）チームは、Platform Engineeringをもって、エンジニアがビジネスロジックなどのバックエンド開発に集中できるよう、さまざまな社内プロダクトを提供しています（その概要については、前回の記事「Developer Experience at Mercari」で紹介しています） この記事では、私たちが開発してきたCUEによるKubernetesマニフェストの抽象化について紹介します。 これはKubernetesマニフェストの構成に関する多くの問題を解
Cloud Native Computing Foundation（CNCF）は、サービスメッシュのIstioが十分成熟した段階に到達したとして、「卒業」（Graduation）プロジェクトになったことを発表しました。 卒業となっても引き続きIstioはCNCF傘下で開発が進められるため、CNCFにおける卒業とは、インキュベーション（育成）段階からの卒業という意味だと言えます。 [NEWS] Cloud Native Computing Foundation Reaffirms #Istio Maturity with Project Graduation Read more: https://t.co/enhd4uT0sG#CNCF #servicemesh #cloudnative #oss pic.twitter.com/A355frCNTO — CNCF (@CloudNative
servicemesh.es
What is a Service Mesh? A service mesh is a dedicated infrastructure layer that adds features to a network between services. It allows to control traffic and gain insights throughout the system. Observability, traffic shifting (for canary releasing), resiliency features (such as circuit breaking and retry/timeout) and automatic mutual TLS can be configured once and enforced in a decentralized fash
注：この説明の後に、APIゲートウェイを使用するかサービスメッシュを使用するか判断する際にアーキテクトの指針となるチートシートを用意しています。チートシートを先に読みたい方は、「チートシート」セクションに進んでください。 長年にわたり、APIマネジメント（APIM）とAPIゲートウェイは、データセンターの内部と外部の両方で最近のAPIユースケースを実装するために使用されてきた主要テクノロジでした。APIゲートウェイテクノロジは、業界で「フルライフサイクルAPI管理」と呼ばれる、より大きく包括的なユースケースを獲得し、この10年の間に大きく発展しました。このテクノロジは、リクエストのデータプレーンのAPIトラフィックを接続し、安全にして管理するランタイムだけでなく、より広い意味でAPIの作成、テスト、文書化、マネタイズ、モニタリングおよび全体的な公開を可能にする一連の機能であり、最初から最
サービス メッシュは、サービス間の通信を支援する、アプリケーションのインフラストラクチャ レイヤーです。 サービス メッシュは、ワークロードに対するトラフィック管理、回復性、ポリシー、セキュリティ、強力な ID、監視などの機能を提供します。 アプリケーションはこれら運用上の機能から切り離され、サービス メッシュによりアプリケーション レイヤーからインフラストラクチャ レイヤーに移されます。 シナリオ サービス メッシュを使用する場合は、次のようなシナリオを実現できます。 クラスター内のすべてのトラフィックの暗号化: クラスター内の指定されたサービス間で相互 TLS を有効にします。 これは、ネットワーク境界のイングレスとエグレスに拡張でき、アプリケーションのコードとインフラストラクチャを変更せずに、既定で安全なオプションを提供します。 カナリアおよびフェーズ ロールアウト: クラスター内の
SREのたっち(@TatchNicolas)です 本記事は、先日の弊社主催のTechトークイベントで発表した内容について、もうすこし詳細に書いてみます。 jxpress.connpass.com TL;DR; GitLabのenvironmentとHelmのreleaseを対応させることで動的な環境の作成・削除を実現した CIOpsとGitOpsを使い分けて、「ちょうどいい」使用感を目指した 環境の順番待ちがなくなった！ 背景 JX通信社のサーバサイド開発では、ECSによるコンテナベースでの開発・デプロイが主流です。*1 環境としては ローカル環境: docker-composeやgo run yarn run などで起動する、文字通り手元のマシンのローカル上で動かす環境 開発版環境: SQSやFirestoreなどのマネージドサービスや、ローカルで立てるのが大変な別のAPI*2との繋ぎ込
App Mesh と ECS のサンプルを試したら CloudFormation とシェルスクリプトや jq の知見が詰まっていて X-Ray も付いてきた話 - garbagetown
Medium 記事にもなっている AWS App Mesh のサンプルを試してみたらいい内容だったので、備忘も兼ねて一年半ぶりにブログを書いてみます。 AWS App Mesh Walkthrough – A Cloud Guru aws-app-mesh-examples/examples/apps/colorapp at master · aws/aws-app-mesh-examples TL; DR App Mesh のサンプルに多い EKS ではなく ECS App Mesh だけでなく CloudFormation やシェルスクリプト、jq の使い方も学べる X-Ray も学べる 以下、サンプルの内容に沿って紹介します。 Prerequisites サンプルを試す前提条件は以下の通りです。 AWS CLI 1.16.124 以上をインストールしている AWS CLI を def
この記事は Retty Advent Calendar 2020 10日目の記事です。 adventar.org はじめに こんばんは、最近趣味でサックス🎷 を習い始めたエンジニアの櫻井です。 ServiceMeshの話題が出てからだいぶ経ちますがそろそろ自分でも触っておきたいなと思いServiceMeshを実現するツールの1つであるIstioにチャレンジしてみました。 今回はIstioの公式サンプルであるBookinfo ApplicationにJWT(JSON Web Token)による認証・認可を入れてみます。 この認証と認可については色々調べてみたものの、あんまり参考記事を見つけることができなかったので少々梃子摺りました。（なお本記事についてはService MeshやIstioについての詳しい説明は割愛しているため、まずそれらがなんぞや？という場合にはリンクの記事を読むことをオ
調査テーマ Ciliumとは？ / 登場背景 / 解決すること Ciliumとは？ 登場背景 Ciliumが解決すること eBPF(extend Berkeley Packet Filter)とは？ XDP(eXpress DataPath)とは？ Ciliumができること/他との違い Nodeを跨ぐ通信の実現(CNI) ロードバランシング 帯域のコントロール マルチクラスタ通信 モニタリングとトラブルシュート Hubbleとは？ Ciliumが使われているケース(あれば) Ciliumのアーキテクチャ 通信について Cilium利用の前提条件 kube-proxyを使わずにCiliumを使う その他つらつら、メモ、感想 参考 調査テーマ Ciliumとは？ / 登場背景 / 解決すること Ciliumができること/他との違い Ciliumが使われている事例 Ciliumのアーキテクチャ
はじめに 赤帽エンジニア Advent Calendar 2019 の12日目の投稿です。 気づけば赤帽かぶってます。(買収は関係ないです。転職です) ※会社とはまったく関係ない話をします。 ※諸事情で控えてたIPAをついに解禁したので，IPA(いまはBrewdog5本目)をがぶ飲みしながら書いてます。支離滅裂(?)になってたらすみませｎ ※12/12, 23:58に投稿してからも適宜更新 ポエム: 僕たち/私たち，Kubernetes 「赤の他人かもしれない皆で即興のジャズがやれるといいな」 (訳) 個々人(Controller)が，地道にインプット/アウトプットを共有し議論し正しい方向に向い続ける(Control Loop, Reconciliation Loop)ことによって，それぞれ独立しているはずなのに，結果的に協調動作(Ochestration)する。 そんな美しい世界ができる
⏳ プログラム 0:00 待ち時間 2:52 オープニング 6:10 基調講演「フレームワークで脆弱性対策されているのに現実のアプリケーションに脆弱性が減らないワケ」徳丸 浩 氏 54:33 事例講演「プロダクト開発の落とし穴？アジャイル開発に求められるセキュリティ」手塚 卓也 氏 1:23:44 視聴者Q&Aパネルトーク 徳丸 浩 氏 × 手塚 卓也 氏 × Forkwell河又 📙 イベントレポートも公開中！ フレームワークで脆弱性対策されているのに現実のアプリケーションに脆弱性が減らないワケ 徳丸 浩 | エンジニアの生き様をウォッチするメディア https://pr.forkwell.com/event/security-study-01/?utm_source=forkwell_youtube&utm_medium=youtube?argument=249xHStF&dma
Abstract Microservicesにおいて，サービス間の通信はネットワーク越しに行われ，そのために必要となるリトライやタイムアウト，アクセス制限等をコントロールするものとして，ServiceMeshがあります． そして，Kubernetes上でのServiceMesh実装としてIstioがあります． Istioは昨年1.0がリリースされ，今年は1.1にバージョンアップし，非常に手軽に導入が可能となりました． 本セッションでは，Istioが提供する機能や基本的な構成に加え，実際にどのようなコードを書くことによりトラフィックをコントロールできるようになるのかということについてお話します． また，Microservices構築のために，AWS ECSからKubernetesに移行し，さらにIstioを本番に導入した際に当たった困りどころについてもお伝えします． トピック: Servic
サービスメッシュ入門 | ネットワンシステムズ
コンテナの利活用が広く進み、マイクロサービスアーキテクチャの採用を耳にすることが増えてきました。本記事ではマイクロサービスアーキテクチャや連携して使用される技術サービスメッシュをご紹介します。 マイクロサービスアーキテクチャ サービスメッシュを説明する前に、クラウド、コンテナ環境のサービスを運用するアーキテクチャの1つ「マイクロサービスアーキテクチャ」を整理します。マイクロサービスアーキテクチャとは、端的に言うと1つのシステムに複数の小さなサービスを組み合わせて開発する手法のことです。James Lewis氏とMartin Fowler氏が2014年3月に公開した記事 “Microservices” が有名ですが、コンテナ型仮想技術が普及するにつれて注目が集まっています[1]。 マイクロサービスアーキテクチャの利点はいくつかありますが、本ブログでは次の3つを取り上げます。 サービスごとのス
開催概要 Google が提唱した SRE という概念は、いまや日本企業の中でも多くの開発組織に取り入れられ、実践されています。 しかし、SRE の実践方法はプロダクトの性質や組織の規模、チーム構成によって異なるほか、 文化としても各企業それぞれ異なる解釈をしている現状が見受けられます。 例） まずは「インフラエンジニア」という役職名だけ「SRE」にしており実務としては変わらないまま 新しい概念で注目度が高いからという理由でインフラエンジニアポジションを「SRE募集」と求人募集している 上記の状況から、まだ日本におけるSREの理解と実践は発展途上な側面があるのではないでしょうか。 本イベントでは、9月3日に発売された新たなSRE本『SREの探求――様々な企業におけるサイトリライアビリティエンジニアリングの導入と実践』の監訳者でもある山口 能迪様、GCPパートナーのスリーシェイク社でSRE特
【Istio⛵️】サービスメッシュの登場経緯とIstioサイドカーインジェクションの仕組み - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ 代表的なサービスメッシュの種類について Istioのサイドカーインジェクションの仕組みについて この記事から得られる知識 01. はじめに 02. サービスメッシュが登場した経緯 なぜサービスメッシュが登場したのか サイドカープロキシメッシュ 03. admission-controllersアドオンについて admission-controllersアドオンとは admissionプラグインの種類 MutatingAdmissionWebhookプラグイン MutatingAdmissionWebhookプラグインとは AdmissionReview、AdmissionRequest、AdmissionResponse ▼ AdmissionReview ▼ AdmissionRequest ▼ Admis
Kubernetes Configuration Management with CUE | Mercari Engineering
This article is a part of Developer Productivity Engineering Camp blog series, brought to you by Hideto Miki (@micnncim) from the Platform DX Team Preface The Platform Developer Experience (DX) team provides a ton of internal products for internal developers, most of whom develop microservices, to allow them to focus their business. The overview is explained in the previous article Developer Exper
2016年頃「サービスメッシュ」という用語は、マイクロサービス、クラウドコンピューティング、DevOpsの分野に登場しました。楽天的なあるチームは、2016年にこの用語を使用して彼らの製品である Linkerd を説明しました。コンピューティングの多くの概念と同様に、実際には、関連するパターンとテクノロジーの長い歴史があります。 サービスメッシュの登場は、主に IT ランドスケープの最悪の状況によるものでした。開発者は、複数言語 (ポリグロット) アプローチを使用して分散システムの構築を開始し、動的なサービスディスカバリーを必要としていました。運用は一時的なインフラストラクチャの使用を開始し、避けられない通信障害を適切に処理し、ネットワークポリシーを適用したいと考えていました。プラットフォームチームは、Kubernetes などのコンテナオーケストレーションシステムの採用を開始し、Envo
SRE / DevOps / Kubernetes Weekly Reportまとめ#20(6/14~6/19) - 運び屋 (A carrier(forwarder) changed his career to an engineer)
この記事は2020/6/14~6/19に発行された下記3つのWeekly Reportを読み、備忘録兼リンク集として残したものです。 DEVOPS WEEKLY ISSUE #494 June 14th, 2020 SRE Weekly Issue #223 June 14th, 2020 KubeWeekly #221 June 18th, 2020 English Version of this blow is here. DEVOPS WEEKLY ISSUE #494 June 14th, 2020 News A look at using Nomad for dynamic scheduling across 200+ edge locations, in particular for running local management tooling. A look at a r
AWS App MeshのサンプルをECS(EC2)からECS(Fargate)に差し替えてみた | DevelopersIO
私が想定している設計の検証のために、ECS(Fargate)で新規に構築したかったので、aws/aws-app-mesh-examplesをforkして一部を変更し、EC2からFargateに差し替えてみました。 こんにちは。 分散システム大好きなshoitoです。 もうAWS App Meshは試されてますか？ AWSからAWS App Meshを試せる公式サンプルが提供されています。 aws/aws-app-mesh-examples https://github.com/aws/aws-app-mesh-examples このサンプルでは、Amazon ECS(EC2)、またはAmazon EKSに環境構築をするCloudFormationテンプレートとシェルスクリプトが同梱されています。 さらに、ウォークスルーではECS(EC2)で構築した後に、新規サービスをECS(Fargate
こんにちは、(株)日立製作所 研究開発グループ サービスコンピューティング研究部の井出です。 先日，Cloud Native Days Kansai 2019にてIstioの話をさせていただきました。 本記事では発表中に紹介しきれなかった内容を補足として書いていこうと思います。 補足1. Service Meshの実現方法とプロキシ 補足2. カナリアリリースの例の注意点 補足3. Istioの運用プラクティスについて 補足4. Istioクラスタの分析(Analyze機能) 補足5. Istio Operator 補足6. クラスタ全体に適用されるカスタムリソース 補足7. プロキシの消費メモリ問題 会場内アンケート結果 おわりに 参考文献 補足1. Service Meshの実現方法とプロキシ セッションではService Meshの説明を省略したため，Istioの説明中にServic
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービスメッシュについて理解する | DevelopersIO
サービスメッシュ必読ガイド - 第2版: 次世代のマイクロサービス開発
サービスメッシュ必読ガイド - マイクロサービス時代のサービス間通信管理
サービスメッシュとしてLinkerdを導入するに至った経緯 - ANDPAD Tech Blog
オンラインサービスをECS on Spot Instanceで構築＆運用した - Gunosy Tech Blog
CUEを使用したKubernetesマニフェスト管理 - メルカリエンジニアリング
サービスメッシュのIstio、十分に成熟した段階に到達したとしてCNCFの卒業プロジェクトに
APIゲートウェイとサービスメッシュの違い | gihyo.jp
サービス メッシュについて - Azure Kubernetes Service
GitLabとKubernetesで作る、自動で起動・停止できるブランチ別環境 - JX通信社エンジニアブログ
IstioとAuth0で認証・認可を体験してみた - Retty Tech Blog
CNIのCiliumについて調べてみた - フラミナル
クラウドネイティブ勉強法 (テックコミュニティ編) - Qiita
Security Study #1 「Webアプリケーションセキュリティ」
Istioを本番導入して夢のServiceMeshへ - builderscon tokyo 2019
SRE Gaps「理論と実践からSREを再考する」 (2021/09/09 19:30〜)
サービスメッシュ必読ガイド - 第2版: 次世代のマイクロサービス開発
「1年間のシステム運用を通して分かったIstioの嬉しさと活用における注意点」の補足 - Qiita