Istio が解決する私達の問題 | メルカリエンジニアリング
この記事は @hatappi によって提供される Developer Productivity Engineering Camp blog series の１つです。 序論 私達 Microservices Network team の管理するコンポーネントの1つに Istio があります。 メルカリでは2017年から既存のシステムを Microservices におきかえるプロジェクトが始まり、Microservice の数は今も増え続けています。Microservice の数が増えるにつれて起きる問題に対処するために Service Mesh の実装の１つである Istio を私達は導入しました。 この記事ではどのような問題があり、それを Istio がどのように解決するのかを紹介します。 Microservice Architecture におけるネットワークの課題 Microser
Istioのトラフィック制御ならブルーグリーンデプロイメント、カナリアリリース、フォールトインジェクション、サーキットブレーカーは簡単にできる
Istioのトラフィック制御ならブルーグリーンデプロイメント、カナリアリリース、フォールトインジェクション、サーキットブレーカーは簡単にできる：Cloud Nativeチートシート（11） Kubernetesやクラウドネイティブをより便利に利用する技術やツールの概要、使い方を凝縮して紹介する連載。今回は、Istioのトラフィック制御機能によってブルーグリーンデプロイメント、カナリアリリース、フォールトインジェクション、サーキットブレーカーを簡単に実現する方法を解説する。 Kubernetesやクラウドネイティブをより便利に利用する技術やツールの概要、使い方を凝縮して紹介する本連載「Cloud Nativeチートシート」。前回に引き続き、サービスメッシュのOSS（オープンソースソフトウェア）「Istio」を紹介します。前回はIstioのインストール手順やサンプルアプリを紹介しました。今回か
【暫定版】 Kubernetesの性能監視で必要なメトリクス一覧とPrometheusでのHowTo - kashinoki38 blog
2021/03/01 追記 記載していたリポジトリにあるマニフェスト系があまりに不親切だったので、ちゃんとまとめてみました。 後日、もうちょっとちゃんと記事書こうとは思いますが、大体はREADMEにあるので読んでみてください。 sock-shopをベースにObservability（Prometheus, Loki, Istio(Jaeger, Kiali)）とProgressive Delivery＆自動負荷試験スタック（Flagger, Jmeter, influxdb）をHelmとKustomizeで詰め込みました。 今回はちゃんと誰もが入れれるようにがんばってみたので、どうぞ。 github.com この内容でCloudNativeDaysOnline2021に登壇することにしています。 event.cloudnativedays.jp 後、随分前ではありますが、本投稿に関連してK
Kubernetes 環境に対する性能試験
今やっていることをとりあえずアウトプットしなければ、外部発表しなければ、と思いちょうど KubernetesNovice が良いタイミングだったので応募してみた。 運営の方々ありがとうございました。皆さんのおかげで私のような小心者な初心者でも外部発表を経験する良い機会を得ることができました。 k8s-novice-jp.connpass.com モチベーション デモアプリ Sock Shop について アーキテクチャ Prometheus でのメトリクス監視 prometheus.yaml の relabel_config について cAdvisor prometheus.yaml Grafana ダッシュボード node exporter NodeExporter prometheus.yaml Grafana ダッシュボード istio-mesh prometheus.yaml Gra
サービスメッシュを実現するIstioをEKS上で動かす - その2 EKSでサンプルを動かしてみる | PSYENCE:MEDIA
サービスメッシュを実現するIstioをEKS上で動かす - その2 EKSでサンプルを動かしてみる 山崎 雅斗 2019.04.04 12 3144 前回は、Minikubeを使ってKubernetesクラスタを作成し、それを使ってIstio上にサンプルアプリケーションをデプロイするというところまでやってみました。 今回はその続きとして、AWSのKubernetesマネージドサービスであるEKS上でBookinfoアプリケーションを動かすところをやっていきたいと思います。 シリーズ一覧 まずはMinikubeでサンプルアプリケーションを動かしてみる EKSでサンプルを動かしてみる 👈 この記事 EKSでRDSなど外部サービスと接続してみる データの可視化について 実運用中のサービスをIstioにのせてみる Datadogと連携する EKSクラスタの作成 今回は、eksctlを使ってEKS
マイクロサービスを支える「Istio」の実力は？ サービスメッシュの利点と課題
独立したサービスを組み合わせて1つのアプリケーションを形作る「マイクロサービスアーキテクチャ」。サービスの構造に合わせて開発組織も個別に独立させることで、機能の追加拡張を容易にしたり、開発スピードの高速化を実現したりできるとして注目されている。 しかし、運用面での課題は少なくない。アプリケーション内でサービス同士が通信するため、アクセス制御やルーティングなどの実装／管理コストは増大する。分割されたサービスそれぞれに独立したソリューションを適用した場合、工数が肥大化したり、仕様や品質がサービスごとに変わったりして、開発スピードに影響を及ぼす恐れがある。 その課題を解決する手段の一つが、サービスの独立性という利点を生かしつつ、運用の一貫性を実現する「サービスメッシュ」と呼ばれるデザインパターンだ。2020年1月に行われた「Envoy Meetup Tokyo #1」の講演で、日立製作所の研究開
Dockerコンテナ時代の第二章～Kubernetesの成熟とエコシステム発展の時代
Dockerの登場により急速に普及をはじめたコンテナ型仮想化の技術は現在、DockerコンテナそのものからKubernetesを軸としたオーケストレーションツールへと主役が移ってきています。 その様子は2017年12月に公開した記事「Dockerコンテナ時代の第一章の終わり、そして第二章の展望など」で紹介しました。 この記事の公開から2年が経過し、現在のコンテナ型仮想化技術は、マイクロサービスやクラウドネイティブなどの文脈とともにエンタープライズな分野でも使われるメインストリームな技術へと確実に進み続けています。 本記事では前記事で描いたDockerコンテナ時代の第一章に続く第二章として、コンテナ型仮想化技術のここ2年半ほどの動向をPublickeyなりにまとめてみました。 Docker 1.0の到達とKubernetesの登場 まずはDockerとKubernetesの登場とその後の主要
Mercari Microservices Platformの進捗（2019年） | メルカリエンジニアリング
Microservices Platform TeamでTech leadをしている@deeeeeeetです． 昨年のMTC2018ではMicroservices Platformチームの立ち上げから1年で僕らが取り組んできたことを紹介しました． speakerdeck.com 具体的にはStranglerパターンによるMonolithからMicroservicesへの段階的なリクエスト移行を行うためのAPI gatewayの開発や，Microservicesのインフラのセットアップを簡単にしサービス開発チームのSelf-service化を進めるためのStarter-kitの開発，GoでのMicroservicesの開発を高速で始めるためのTemplateプロジェクトの開発，Spinnakerの導入などについて紹介しました． これらはPlatformとして最低限の機能を整備したにすぎず，さ
IstioをHelmでインストールしてRoutingとTelemetryを行いJaeger/Kialiで確認する - sambaiz-net
IstioはEnvoyというProxyをSidecarとしてPodに入れてトラフィックを通すことでマイクロサービスのRoutingやTelemetryをサービスのコードに手を入れずに行うことができるサービスメッシュ。 もともとEnvoy自体は単体で、コネクションを張りっぱなしのgRPC(HTTP/2)をK8sのServiceのL4ロードバランサーでは分散できない問題の解決方法の一つとして 各PodのIPの一覧を返すHeadless Serviceと使われていたが、各Manifestに入れたりConfigMapを編集したりする必要があり少し面倒だった。 Istioにするとそれらが省けて、さらに賢いRoutingやモニタリングの仕組みまで付いてくるのでとても便利だ。 インストール IstioをダウンロードしてきてHelmでインストールする。Istioには様々なコンポーネントが含まれているが、パ
国防総省がKubernetesとIstioでDevSecOps基盤を構築、「ウォーターフォール文化を変える」
2019年11月にCloud Native Computing Foundation（CNCF）が米サンディエゴで開催したイベント「KubeCon＋CloudNativeCon North America 2019」では、米国防総省がKubernetesの広範な採用を進めていることを明らかにした。 目的は明確で、技術変化が加速化するこの分野において、戦闘システムから業務支援システムにしても、ソフトウェアの更新や新規展開に数年間をかけているようなウォーターフォール型開発思考では、時代に取り残されるからだという。 説明したニコラス・チャイラン（Nicholas Chaillan）氏は、米空軍が初めて設けたチーフソフトウェアオフィサーの職を担っている。また、国防総省のCIOと共に、陸・海・空軍を含む、同省全体のDevSecOpsへの取り組みを率いているという。その要となるのが、Kubernete
【レポート】サービスメッシュは本当に必要なのか、何を解決するのか #AWSSummit | DevelopersIO
こんにちわ、札幌のヨシエです。 AWS Summit Tokyo 2019 3日目のA3-03で行われたセッションのレポートを書きましたのでご査収頂ければと思います。 登壇者 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 原 康紘 AWS 上でのマネージド・サービスメッシュを実現する AWS App Mesh や、Kubernetes ワークロードとの親和性が高い Istio など、サービスメッシュの世界には数々のプロダクトやソリューション、アイデアが生まれつつあります。本セッションでは、マイクロサービスにおけるベストプラクティスの集大成とも言えるサービスメッシュについて、その解決すべき課題と人々が熱狂する理由、サービスメッシュそのものの必要性について掘り下げます。同時に、サービスメッシュを実現する上で最も重要なコンポーネントの一つとも言える En
Service Mesh and Cookpad - クックパッド開発者ブログ
こんにちは、開発基盤の Taiki です。今回は、マイクロサービスで必須のコンポーネントとなりつつあるサービスメッシュについて、クックパッドで構築・運用して得られた知見についてご紹介できればと思います。 サービスメッシュそのものについては以下の記事や発表、チュートリアルで全体感をつかめると思います: https://speakerdeck.com/taiki45/observability-service-mesh-and-microservices https://buoyant.io/2017/04/25/whats-a-service-mesh-and-why-do-i-need-one/ https://blog.envoyproxy.io/service-mesh-data-plane-vs-control-plane-2774e720f7fc https://istio.io/
クックパッドが明かすサービスメッシュの構成とユースケース
2018年11月28日、クックパッド株式会社が主催するイベント「Cookpad Tech Kitchen」が開催されました。第20回となる今回のテーマは「クックパッドのマイクロサービスプラットフォーム現状」。クックパッドが開発を行っているマイクロサービスプラットフォームの今と、その仕組みについて解説します。プレゼンテーション「サービスメッシュの構築と運用」に登壇したのは、Taiki氏。service meshの仕組みと、クックパッドでの活用事例について解説します。講演資料はこちら クックパッドでのサービスメッシュについて Taiki氏：みなさん、こんばんは。Taikiといいます。クックパッドで働いています。「service mesh」という単語を聞いたことがある人ってどのぐらいいます？ （会場挙手） お〜、さすがプラットフォームに興味があるみなさん。その中でも「Envoy Proxy」とい
Envoy (Envoy proxy)、Istio とは？ - Qiita
Microservices Advent Calendar 2017 14日目の記事です。 今回は、EnvoyとIstioという、microservicesの文脈でよく出てくるツールの紹介です。 https://www.envoyproxy.io/ https://istio.io/ どちらも立派な公式ページ/ドキュメントがあり、紹介も何もあったもんじゃないと思われるかもしれませんが、公式ドキュメント上では、とてもたくさんの概念と機能が紹介されていて、私にはこの２つが一体何物なのか中々掴めなかったので、私なりの理解での言葉に置き換えて説明したいと思います。 tl;dr Envoyはmicroservicesなシステムを作るときに必要な機能を提供してくれるside-car proxy。 Istioはenvoyをkubernetes上で使うのを助けてくれるツール。(将来的にはkubernete
BPFについて調べてみた - Toku's Blog
この記事は CyberAgent Developers Advent Calendar 2018 9日目の記事です。 今回はBPFについてちょっと調べてみた。それのまとめ。落ちはない。 なぜBPFを調べようと思ったのか 要はBPFを調べようと思った動機をちょっと。 唐突にはなってしまうが、Kubernetesの上に乗っかるService Meshに関するミドルウェア(Istio/Envoyあたり)などでネットワークのレイテンシが問題として話に出ることがそこそこある。 基本的にService MeshのツールはコンテナのSidecarとして動作させ、Networkの通信をすべて見えるようにiptablesで自身にルーティングさせて、Proxyするように動作する。 これの解説としてよく見るのは以下のような図だ。 これ始めてみたときに個人的にはゾッとしたが(latency大丈夫なのか的な。)、実
「サービスメッシュ」「Istio」って何？ どう使える？ どう役立つ？：寺田佳央氏が分かりやすく説明 - ＠IT
「サービスメッシュ」「Istio」って何？ どう使える？ どう役立つ？：寺田佳央氏が分かりやすく説明 マイクロサービスに関わる人々の間で、「サービスメッシュ」「Istio」への注目が高まっている。これについて、Javaコミュニティーで広く知られる日本マイクロソフトのテクニカルエバンジェリスト、寺田佳央氏がデモを交え、分かりやすく説明した。寺田氏の説明を要約してお届けする。 マイクロサービスに関わる人々の間で、Istioへの注目が高まっている。これはGoogle、IBM、Lyftが開発し、2017年5月にオープンソース化したソフトウェア。「サービスメッシュ」と呼ばれる機能を果たす。サービスメッシュでは、マイクロサービス間の通信を統一的な仕組みで制御。これにより、きめ細かなセキュリティの確保、流量制御、フェイルオーバー、ブルー／グリーンデプロイメント、カナリアデプロイメントなどを容易にする。
Istioが備えるテレメトリ/ポリシー管理機能を使った統計情報取得と接続管理 | さくらのナレッジ
なお、利用できる属性値はAttribute Vocabularyドキュメントを、演算子についてはExpression Languageドキュメントを参照して欲しい。 今回は次のように、送信元および送信先、URLのパス部分、リクエストメソッド、トラフィックの方向という5つの情報をラベルとして付与するような設定でリソースを作成した。 apiVersion: config.istio.io/v1alpha2 kind: metric metadata: name: my-metric spec: value: "1" dimensions: source: source.labels["app"] | "unknown" destination: destination.labels["app"] | "unknown" path: request.path | "unknown" method
マイクロサービスアーキテクチャ向けにサービスメッシュを提供する「Istio」の概要と環境構築、トラフィックルーティング設定 | さくらのナレッジ
Istio環境の構築 さて、続いては実際にIstioを利用できるクラスタ環境を構築していく流れを紹介していこう。 前提条件 Istioの利用には、まずコンテナエンジンとしてDockerが必要となる。また、対応するコンテナクラスタはKubernetes（バージョン1.9以降）もしくはNomad＋サービスディスカバリツールConsul環境となっている。ただし、現時点ではNomadベースのクラスタでの利用は未テストというステータスのようだ。そのため今回は独自に構築したKubernetesベースのクラスタ上でIstioを利用する流れを説明する。 なお、IstioはKubernetesのServiceやPod、Deploymentといった機能と連携して動作するようになっている。そのため、利用にはKubernetesの知識が前提となる。本記事もKubernetesに関する知識がないと理解が難しい点があ
最強のServerlessプラットフォーム？ Knativeを動かしてみるぞい - Cloud Penguins
ということで前回の記事に引き続き、発表されたばかりのKnativeを動かしてみました。 jaco.udcp.info GKE環境を用意する Knativeを動かすにはk8s環境が必要ですので、今回はGKEに環境を用意します。なおk8s本体とKubectlは1.10以上が必要です。 KnativeはIstioなども含むリッチな仕組みのため、それなりのリソースを要求します。なのでやや大きめのインスタンスで立ち上げていますが、節約したい方はmachine-typeやnodeの数を編集してください。 export CLUSTER_NAME=knative export CLUSTER_ZONE=asia-northeast1-a gcloud container clusters create $CLUSTER_NAME \ --zone=$CLUSTER_ZONE \ --cluster-ver
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubernetes Network Deep Dive!
