Consulでリーダーノードでのみ任意のコマンドを実行したい - Qiita
リーダーだけコマンドを実行したい あまりConsulの要件っぽくはないんですが、任意の場所から特定のノード（今回はリーダー）でのみコマンドを発火させたかったのでそれを実現するためのメモです。 リーダーのノード名を知りたい 特定のノードで特定のコマンドを実行するには consul exec の nodeオプションを指定するのが良さそうです。 しかしおそらく リーダーのノード名を一発で取得できない ようなので、以下のフローで取得する必要があります。 1. リーダーのIP取得 status APIで取得。1
Consulクラスタ内でファイルを分散配布する tuggle を書いた - 酒日記 はてな支店
github.com これはなに? HTTPを使って、ファイルを Consul クラスタ内で分散配布する daemon です。Go で書かれています。読みかたは「たぐる」です。 開発動機とユースケース 拙作の Stretcher というデプロイツールがあります。嬉しいことに、自分が勤務しているカヤックだけではなく、他社さんでも使われているようです。 先日、某社の Stretcher をお使いのかたに話を伺う機会があり、デプロイアーカイブの取得時のネットワーク負荷が問題になっているということを聞きました。 カヤックではサーバは基本 AWS にあり、S3 からデプロイアーカイブ(200〜300MB程度)を取得しています。S3はちょっと意味が分からないぐらい堅牢で、stretcherの -random-delay 5 (開始を平均2.5秒、最大5秒ずらす) を設定した状態で100台程度から一斉に
Prometheus meets Consul -- Consul Casual Talks
Introduction to service discovery and self-organizing cluster orchestration. ...Pivorak MeetUp
平和なConsul Cluster運用 / consul-casual-1 // Speakerdeck
Consul Casual Talks #1 http://connpass.com/event/35836/
Running Consul at Scale—Journey from RFC to Production
We had many VMs in AWS - were ingesting millions of metrics per second - and were having pain around service discovery and quick configuration changes. This is the story of how we integrated Consul into our environment, what it helped us with, mistakes we made and some tips for successful implementation in your own environment. 10 months later, our growing cluster was using Consul to facilitate 60
mhaとconsulでDBサーバーの冗長化をしています | feedforce Engineers' blog
こんにちは。Lorentzcaです。3月ですがまだまだ寒いのでなかなか釣りに行けずテンションさげぽよです！ ↑↑ この度DBサーバー(物理マシン、MySQL)の引っ越しを行いました。 そのついでに、冗長化の仕組みをmhaとconsulを使った方法に変えたので紹介します。 はじめに まずは簡単に引っ越し前と引っ越し後の構成を比べてみます。 引っ越し前は以下の様な構成でした。 サーバー台数: 2台 MySQLフェイルオーバーの仕組み: 自作シェルスクリプト アプリの参照先を切り替える仕組み: keepalivedでvipを張り替えることで実現 引っ越し後は以下の様な構成になりました。 サーバー台数: 3台 MySQLフェイルオーバーの仕組み: mha アプリの参照先を切り替える仕組み: consulのdns機能を使って実現 なぜこのような構成にしたのか、話していきます。 引っ越し前に持っていた
Consul 0.6でユーザのいるshardを探す（Prepared Queryを使う） - kikumotoのメモ帳
この記事は HashiCorp Advent Calendar 2015 - Qiita の第21日目です。（大人な事情により Hamee Advent Calendar 2015 - Qiita の第20日目でもあります。なので微妙な時間に公開） 概略 ユーザIDをベースにDBを分割（sharding）しているのですが、プログラムからユーザのいるshardを探すのにConsulを使えないかなぁと思って試している話。 Consul0.6のPrepared Queryを使って解決してみました。 目次 背景 前提 方法１（今回採用予定） 方法２ その他の方法 まとめ 背景 ユーザIDをベースにDBを分割（sharding）していると、プログラムからユーザのいるshardを探す必要があります。 これをどこかのメタDBサーバにするってのも良いんだけど、Consul使ってDNSで引っ張ってこれると使
【参考訳】Consul 0.6 | Pocketstudio.jp log3
Consul のメジャー・アップデートがありました。Blog 記事があがっていましたので、例によって参考程度にどうぞ。 Consul 0.6 – HashiCorp https://hashicorp.com/blog/consul-0-6.html —-ここから ■ Consul 0.6 私たちは Consul 0.6 のリリースにワクワクしています。今回は多くの新機能や改良が追加されたメジャー・アップデートです。Consul とは最新のデータセンタ・ランタイムです（訳者注：HashiCorpでは、いわゆるネットワーク・システムのことをデータセンタとして表現しています。日本語の物理的なデータセンタとは概念が少し異なります）。Consul は扱いやすい Go 言語のバイナリであり、サービス・ディスカバリ、設定、オーケストレーションの各機能があります。分散と高い可用性、そして、複数のデータセ
Consul 0.4.x から 0.5.2 へのバージョンアップ - 酒日記 はてな支店
このエントリは HashiCorp Advent Calendar 2015 - Qiita 1日目の記事です。 Consul クラスタは一度稼働を始めたら基本的に落とせないため、いわゆるローリングアップグレードによってクラスタ全体を停止せずにバージョンを上げることが考慮されています。 consul.io ということで基本的には上記のURLを参照して、順番にagentを新しいバイナリで起動し直すことによって新しいバージョンに切り替えられるわけですが、Consul 0.5.0, 0.5.1 についてはいくつか留意点がありますので記録しておきます。 consul.io 0.5.0 未満から 0.5.0 以上にする場合 acl 機能を使っている場合、あらかじめ acl_policy を設定してからアップグレードする必要があります が、自分は使用していなかったのでスルー Leader が Cons
Consulがたまに暴れている件について - Qiita
現象について 日に１、２回ほどこんなログが出力される。 どこか（不確定）のノードが一時的にFailし、すぐにJoinし直す。 現象としては 以前 に書いたのと似てはいるが、頻度が低い。たまに起こる程度。 2015/11/30 06:09:25 [INFO] memberlist: Marking hogenode as failed, suspect timeout reached 2015/11/30 06:09:25 [INFO] serf: EventMemberFailed: hogenode xxx.xxx.xxx.xxx 2015/11/30 06:09:25 [INFO] consul: member 'hogenode' failed, marking health critical 2015/11/30 06:09:27 [INFO] serf: EventMemberJ
Consulを利用したTLSセッションチケットの自動更新 | メルカリエンジニアリング
Site Reliability Engineering Team（通称SRE）の@cubicdaiyaです。最近チーム名が変わりました。 今回はConsulを利用して複数台のnginxサーバのTLSセッションチケットを自動更新する仕組みについて紹介します。 TLSセッションチケットは簡単に言うとTLSのセッション情報を暗号化してクライアント側に保存することで HTTPS通信時に行われるTLSハンドシェイクの手順を省略してネットワークレイテンシを削減するための仕組みです。(詳細については一番下の参考情報を御覧ください) 似たような仕組みとしてTLSセッションキャッシュがありますが、こちらはセッション情報をサーバ側に保存します。 HTTPS通信ではTCPのハンドシェイクに加えてTLSのハンドシェイクが必要になるのでHTTP通信よりもネットワークのレイテンシが大きくなりますが、 これらの仕組み
Consulクラスタ全体が不安定になった事案と原因 - Qiita
環境 Consul Server(0.5.2) x 3 Consul Agent(0.5.2) x 数十台 現象 とある日、プロダクトのConsulクラスタ管理下のサーバがちょいちょいアラート出すので Consulログを確認するとノードが数分間隔で EventMemberFailed と EventMemberJoin を繰り返していた。 特に特定のノード、というわけでもなく、ランダムにノードがFailし、数十秒後にJoinし直す、というログがひっきりなしに出力されていた。 「consul flapping」でぐぐってみると、いくつか同じような現象で悩んでいる事案があるようだった。 原因となったサーバ ほぼ全てのノードがflapping状態だったので原因つかめず途方に暮れていたが、この投稿 で のfromのサーバを見るといいよ、とあったのでgrepしてみるとビンゴ。 そのサーバにログインし
世界展開する大規模ウェブサービスのデプロイを支える技術 / YAPC::Asia Tokyo 2015
Miiverse とは任天堂株式会社が運営しているウェブサービスであり、世界中の Wii U やニンテンドー3DS、そして PC やスマートデバイスから利用することができます。 AWS 上でマルチリージョン構成をとり大量のサーバを抱える Miiverse のデプロイを支える技術と運用上の工夫、そして株式会社はてなと任天堂株式会社が共同で開発する Git リポジトリの同期システムの構築を通して得られた経験をもとに、大規模なウェブサービスを素早くかつ安全に改善する方法を紹介します。 ※本資料は YAPC::Asia Tokyo 2015 での発表資料となります。 http://yapcasia.org/2015/talk/show/9ec2791c-05e5-11e5-81fa-79c97d574c3a
YAPC::Asia 2015で発表してきました & ConsulとStretcherについて - 酒日記 はてな支店
YAPC::Asia 2015 でトークを採用していただいたので、発表してきました。 YAPC::Asiaは自分は2006年から10回皆勤で、トークは2009年LT、2010〜2013, 2015は本編で計6回もしてるんですね…YAPC::Asiaにはここまでのエンジニア人生の半分以上を支えてもらっていて、(ひとまず)最後の回でもトークできて感無量です。 1年ぶりにYAPCでしか顔を合わせない人もいた懇親会は、皆さん言うように同窓会のよう、というか本当の同窓会よりも現在の話題を共有している分濃密でしたね。 Consulと自作OSSを活用した100台規模のWebサービス運用 1日目午後一の激戦枠に放り込まれたのでどれぐらい会場が埋まるか心配でしたが、200人以上入る会場でほぼ満員だったようで、聞きに来ていただいた皆様ありがとうございます。 ここ1年程度で本番運用してきたConsulと周辺に関
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Load balancer management with Consul
Consul in Production
Consulはなめらかか？
成長を加速する minne の技術基盤戦略
やわらか Consul
Consulと自作OSSを活用した100台規模のWebサービス運用
