我らの時代のコンテナデプロイ – Nomad, Consul, Vault | IIJ Engineers Blog
我らの時代のコンテナデプロイ – Nomad, Consul, Vault 2020年12月11日 金曜日 【IIJ 2020 TECHアドベントカレンダー 12/12（土）の記事です】 システムクラウド本部の坂口です。 私たちは現在、新サービスを開発しています。 今やサービス開発ではコンテナ技術を無視できません。 我々のサービスでも開発したアプリケーション群は自動でコンテナイメージ化され、様々な開発者が簡単に手元で動作確認できるようになっています。 マイクロサービスアーキテクチャを採用し柔軟かつ高速な開発体制を敷けた一方で、それらをデプロイするコンテナ管理基盤をどうするかが問題になります。 今回はコンテナオーケストレーションシステムとしてnomad、並びにhashicorpのプロダクトを利用した感想をご紹介します。 デプロイを巡る冒険 Kubernetes コンテナオーケストレーションシ
microservices-infrastructure-with-envoy-consul-nomad
Envoy Meetup Tokyo #1 の発表スライドです。 発表後から誤字の修正のほか次の修正が入っています。 P32. スライドが一枚抜けていたので追加 P26. 設定ミスとなる正しい理由をご指摘いただいたので正しい対処方法を記載
Configuring Third-Party Load Balancers with Consul: NGINX, HAProxy, F5
Sign up for freeGet started in minutes with our cloud products TerraformInfrastructure as code provisioning
多分あなたにKubernetesは必要ない | Yakst
trivago社の小規模な開発チームがコンテナオーケストレーターとしてKubernetesではなくNomadを採用することになった経緯と理由について、両プロダクトの特徴やユースケースに言及しつつ紹介されています。 [HashiCorp][Kubernetes]原文 Maybe You Don't Need Kubernetes (English) 原文著者 Matthias Endler 原文公開日 2019-03-21 翻訳依頼者 翻訳者 msh5 翻訳レビュアー doublemarket 原著者への翻訳報告 1883日前 Twitterで報告済み 1882日前 原著者承諾済み 編集 スクーターに乗った女性（イラスト画像の作成元はfreepik、NomadロゴはHashiCorp） Kubernetesはコンテナオーケストレーションの巨人です。世界中で巨大なデプロイメントを動かしています
Consulを使う人が知っておくべきACLを使ったセキュリティ対策 - Fire Engine
こんにちは、つるべーです！みなさん、Consul使ってますか？ ConsulはHashiCorpが開発するツールで、サービスディスカバリやヘルスチェックなど様々な機能を有しています。Consulは、ノードやサービスの状態変化を起点として、特定の処理を発火させることができるため、『状態の把握 → 変化の検知 → 動的な制御』のような流れがConsulを使って組むことができ、動的に変化するインフラの運用管理に絶大な力を発揮するツールです。 一方で、その多岐にわたる機能のため、仕組みを完全に把握することが難しく、使い方によっては思わぬ危険性を持ってしまうことがあります。今回は、Consulのセキュリティ対策について、ACLという仕組みを中心に書いていきたいと思います。 目次 セキュリティ対策の概要 Consul HTTP APIに内在する危険性 HTTP APIへのセキュリティ対策 1. HTT
HashiCorp Consul 1.3: Envoy
We are excited to announce the release of HashiCorp Consul 1.3. This release extends Consul to support Envoy as a proxy for Connect and enables automatic sidecar injection in Kubernetes for secure pod communication. Connect enables secure service-to-service communication with automatic TLS encryption and identity-based authorization. Since the initial release of Connect in June, the Consul team ha
Consul Auto-Join with Cloud Metadata
We work in a world of distributed systems which operate in rapidly changing environments. Servers come and go, they move across region and distribution groups, and somehow they need to communicate and connect to one another. To solve this problem, HashiCorp created Consul, which among many other things enabled service registry and service discovery. Application instances register themselves with C
Consulクラスタをアップグレードした時に起きた問題と対応 - Carpe Diem
概要 先日Consulクラスタのアップグレードをしたところちょこちょこ問題にぶち当たって解決に時間がかかったので、同じ症状に遭ったりした人用にメモ。 環境 Consul 1.1.0 -> 1.2.2 Ubuntu 16.04 問題背景 Consulはクライアントエージェントが追加されたり死んだりしても自動でjoin・leaveを行ってくれるので、サーバエージェントも同様に１台ずつAMIを更新すれば自動でjoin・leaveしてくれる＆Key/Valueデータもレプリケーションを自動でやってくれるから問題ないはずと勝手に期待してやってみたのが問題でした。 問題の流れ Consulを更新したAMIをpackerで作成 Terraformで１台ずつConsulを更新 古いConsulを削除したがCritical Stateのノードとしてメンバーにずっと残る ←そのうち消えると勝手に思い込む リー
やわらかVault - Pepabo Tech Portal
最近、5kgの重しを背負って懸垂していますプリンシパルエンジニアの @linyows です。 みなさん、NHKの「筋肉は裏切らない！」（正しくは筋肉体操）見てますか？ … はい。ですよね。 GMOペパボは、ロリポップ！やminneなど様々なサービス（microservices的なものではない）を運営しており、それぞれにおいて、秘密情報を管理している状態にあります。この秘密情報を独自に管理するのは、専門のスキルやノウハウとしてあらゆるコストがかかります。 そこで僕（ら）は、秘密情報管理ソフトウェアであるHashiCorp Vaultを各サービスに導入し、サービスを堅牢にするというゴールをもとに社内でVaultのWorkshopを幾度となく開催しています。 今回は、そのWorkshop「やわらかVault」のご紹介です。 やわらかVault これは、HashiCorp Vaultを正しく理解し
サービスメッシュについて調査してみた件 - Qiita
はじめに 最近、Kubernetesを中心としたコンテナ環境やマイクロサービスの文脈において、「サービスメッシュ」「Istio」というキーワードを聞く機会が増えています。 「Istio」は、2018/7/31にバージョン1.0に到達したことが発表され、ますます注目されるオープンソースソフトウェアとなっています。また、自分が所属しているSIerであっても、最近「サービスメッシュ」という言葉を聞く機会が増えてきています。 本記事では、サービスメッシュの概要から、サービスメッシュを実現するソフトウェアについて、Web上の情報などを元に調査した内容を整理したいと思います。 サービスメッシュとは マイクロサービスの課題 サービスメッシュの説明をする前に、サービスメッシュの前提となるマイクロサービスにおいて、どのような課題が存在するか整理したいと思います。 Service Discovery（サービス
Consulでservice meshを実現するConnectのSidecar Proxy/Intention - 理系学生日記
Consul Cluster を Service Mesh にする Connect という機能を備えた Consul 1.2.0 がリリースされました。ただし、Public Beta の位置づけで、正式版は 2018 年末とか。 HashiCorp Consul 1.2: Service Mesh 記事によれば、Service Mesh は以下の 3 つ を提供すべきとされています(色々な意見があります)が、このうちの Segmentation が Connect で解決されるということになります。 Discovery: サービスは互いに見付けあうことができる Configuration: ランタイム設定を Central Source から抽出できる Segmentation: サービスの通信は許可・暗号化されたものである 今日は、とりあえず Getting Started を読んだので
Consulで各サービスのコンテナ群のIPを取得する - Carpe Diem
概要 以前Consulの基本的な使い方を紹介しました。 christina04.hatenablog.com このConsulに登録する各ノードに対しサービス設定をすることで、各マイクロサービスに所属しているコンテナ群のIPを取得できるようします。 それによってgRPCでの負荷分散としてのClient-side LBが、動的なコンテナに対しても可能になります。 環境 Consul 1.1.0 docker 18.03.1-ce docker-compose 1.21.1 準備 githubにデモ用のdocker-composeの設定があるのでそれを利用します。 github.com ディレクトリ構造 以下のようにConsulのサービスを設定するためのjsonを用意します。 内容は後述します。 . ├── docker-compose.yml ├── nginx-service │ └─
Consulを支える技術 - Carpe Diem
概要 ConsulではSWIMやRaftといった技術を使っています。 今回はそれらを説明します。 環境 Consul 1.1.0 SWIM Gossip Protocol SWIMはGossip Protocolの一種で、主に クラスタのメンバ管理機能 メンバの障害検出機能 イベント伝播 で使われています。 こういった機能を実装しようとすると、大抵が中央集権的に情報を管理したり、各ノードがネットワーク上の全てのノードにメッセージを送信したりと言ったシステムになりますが、 Gossip Protocolは個々のノードが隣接ノードからランダムにいくつかのノードを選択し情報を伝えます。 図で表すと以下のように比較できます。 ref: RRG: redundancy reduced gossip protocol for real-time N-to-N dynamic group communi
Load Balancing Strategies for HashiCorp Consul
Consul is a free and open source tool that provides service discovery, health checking, load balancing, and a globally distributed key-value store. Additionally, it provides a set of primitives for building orchestration workflows and tools. In microservice architectures, applications often run across many IP addresses and bind to a variety of ports. Service discovery aids in the process of findin
Vault with Consul storage reference architecture | Vault | HashiCorp Developer
This guide applies to Vault versions 1.7 and above and Consul versions 1.8 and above. This guide describes recommended best practices for infrastructure architects and operators to follow when deploying Vault using the Consul storage backend in a production environment. This guide includes general guidance as well as specific recommendations for popular cloud infrastructure platforms. For producti
Connectivity between Nginx and Consul-Template The uShip Blog
How uShip WorksList Your ItemCompare Shipping OptionsChoose Your ProviderQuestions? We can help.How to ship with uShipWhy uShip?TrackingMobile AppShipping ProtectionGuaranteeSecure PaymentsSend Anything, AnywhereCarsMotorcyclesFurnitureLTL FreightBoatsSee All Overview In the past couple of weeks, I have been wrestling with the connectivity between Nginx and Consul-Template. While it’s fairly stra
How we moved to Google Cloud using Consul and ZeroTier (with zero downtime)
Prelude About 6 months ago (in a galaxy pretty close to our office) … Our old hosting provider was having network issues… again. There had been a network split around 3:20 AM, which had caused a few of our worker servers to become disconnected from the rest of our network. The background jobs on those workers kept trying to reach our other services until their timeout was reached, and they gave up
Use HashiCorp Vault in production environment
After see how install localy Vault, we want now use in production environment. We want High availability, Active directory authentication. HA backend storage We use Consul to store data because it allow HA mode. Best practice is to install Consul local agent on same computer (or VM or container). This local agent run in client mode, that mean local agent forwards all RPCs to a server. We create on
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blog – Welcome to Studio Elize
HashiCorp Vault and the Magic of Consul Templates