AWS NATインスタンス構築とSerfによる冗長化 | Weboo! Returns.
2015.12.17追記：マネージドNATゲートウェイというサービスがリリースされました。 AWS VPCでプライベートサブネット内に起動したインスタンスは、インターネットと通信することができません。外部リポジトリやAmazon S3等の各種サービスも利用するためには、NATインスタンスを用意して外部との通信を中継する必要があります。 このためにAWSではNATインスタンス用のオフィシャルなAMIが提供されているのですが、わざわざ専用のインスタンスを稼働させるのは勿体ないので、ヴェッテルでは管理用サーバにNATインスタンス機能を持たせて併用しています。またNATインスタンスがSPOFにならないように障害が発生したら、自動的にフェイルオーバーするような冗長化も行っています。 ここでは、オフィシャルなAMIを利用せずに独自でNATインスタンスを構築する方法と Serf による冗長化の方法を紹介
serfのイベントハンドラを書く時にハマったこと
serf-munin.pl1を書いた時にハマったこと。 複数タグを登録すると、カンマ区切りのkey=valueになる serfの基本的な動作を試してみた時に知ったことです。 これはドキュメントにもそれとなく書いてあるので、ハマるという程のことは無かったのですが、なんとも言えない挙動があるのでメモしておきます。 例えば以下のように、role=appとdatacenter=tokyoという2つのタグを設定します。
serfの基本的な動作を試してみた
serf1を知るためにアレコレと試した作業記録のようなもの。 @glidenote先生によるserf-muninの設定やブログ2を眺めたり（同じ部署で大変お世話になっている）、公式ドキュメントを眺めたりしながら、Vagrant上でserf clusteringを試した。 何番煎じかも分からないほど後発だが、あくまで備忘録である。 試験環境 CentOS 6.5 x86_6434 Serf 0.6.3 以下の簡易な図のように、one.devとtwo.devという2個のVMを用意し、serf clusterとする。 +---------+ serf cluster +---------+ | one.dev | ---------------- | two.dev | +---------+ +---------+ Vagrantfile 導入環境を満たすVagrantfileを用意する。 V
Decentralizing Docker: How to Use Serf with Docker | CenturyLink Labs
Helping Developers do Ops EasierIn last week’s post, we talked about how to create a 2-container application with Docker. Now we want to use a brand new project called Serf (from the makers of Vagrant) to have the containers learn about each other automatically. Serf uses gossip-based membership to create a decentralized solution for service discovery and orchestration that is lightweight, highly
「hbstudy#60 SerfとConsulでシステム運用を楽しくしよう！」に行ってきました＆Serf試してみました - 戦場のプログラマー
2014-07-21 「hbstudy#60 SerfとConsulでシステム運用を楽しくしよう！」に行ってきました＆Serf試してみました 勉強会 hbstudy インフラエンジニア オーケストレーション Serf Consul インフラ hbstudy#60 行ってまいりました！今回は実際にSerfを使ってみましたので、お手すきの方は是非ごらんください。 参加前 繰り上がるつもり・・・！！ 繰り上がりきたああああああ！（7/17） 概要 2014/07/20(日) 東京都東京都新宿区西新宿1-5-11 新宿三葉ビル6F hbstudy#60 - connpass hbstudy#60 懇親会 - connpass ハッシュタグ: #hbstudy hbstudyの趣旨についてですが、インフラエンジニアの勉強会です。 インフラエンジニア勉強会hbstudyについて 世の中のエンジニアは開
SerfとConsulの記事まとめ - Qiita
概要 Serf と Consul の情報を整理しました。どちらも一般的な単語なので、ネットで検索しようにも、ノイズが多く、情報が埋もれがち。そこで整理したのがこちらです。 もし抜けがあったり、追加がありましたら、コメントなりリクエストいただければと思います。 （なお、順番は時系列にしようかと思いましたが、あまり整理されていません。このあたりもどうしようかな・・・。ひとまず日本語中心です。） Serf http://www.serfdom.io/ 週末雨だったのでSerfをさわってみた - ni-blog http://orihubon.com/blog/2014/06/29/serf/ Serf を使ってみた - jedipunkz' blog http://jedipunkz.github.io/blog/2013/11/10/serf/ Serf+HAProxyで作るAutomatic
docker + serf でどんなことが出来るか考えてみた（感じてみた） - ようへいの日々精進XP
はじめに serf の内部構造（どのようにして動いているのか）についてのメモ こちらを自分なりに意訳したメモ ついでに docker コンテナ間で serf クラスタを構築してみる 参考 Serf Internals Serf を使ってみた Serfが面白いと俺の中で話題にwwwwwwしてみる Gossipプロトコルの情報浸透確率とその臨界現象 Serf の内部構造 基本的なこと serf は以下のような技術を利用して動作している。 gossip protocol gossip protocol は SWIM: Scalable Weakly-consistent Infection-style Process Group Membership Protocol をベースにしている 但し、これらに幾つかの機能追加を行うことで伝播速度および収束速度を増加させている。 serf の特徴 ser
Serf Source Code Reading part2
前回のmemberlistに続き、今回はserfのコードを読んでみました。 Serf Summery serfは、memberlistを利用してクラスタ内のノードのJoin/Leaveやユーザ定義のイベントをフックし、各イベントにマッピングされたユーザスクリプトを実行します。 Packages serfは以下の3つのpackageで構成されています。 serf memberlistを作成 memberlistのメッセージングの仕組みの拡張 UserEvent ノードの状態をスナップショットとして保存し、リストアする仕組み agent 各ノード上で起動されるプロセス コマンドからのリクエストを受け付けて処理し、結果を返す command CLI 任意のノードのエージェントにリクエストを投げ、レスポンスを表示する Full State Sync Message Expansion serfはm
Docker+Serf+HAproxy (+Supervisor)
Docker+Serf+HAproxy (+Supervisor) SerfでDockerコンテナのクラスタを形成する SerfでHAProxyの更新 on Vagrant でやったことを融合した．つまり，HAProxy（ロードバランサ）コンテナとWebサーバコンテナを立てて，Serfでそれらのクラスタを形成する．そしてWebサーバコンテナの増減に応じてHAProxyコンテナの設定を書き換えるということをやってみた． 基本的には，上でやったことをDockerのコンテナに移行するだけだが，Dockerは1コンテナで1プロセスが普通であるため，複数プロセス（サービス）をどう扱うかが問題になる． Dockerで複数プロセスを扱うときには，Supervisorという選択肢がある．この方法は，公式で紹介されていたり，Foot Fightの“Docker in Practice”で言及されてたり，Ce
SerfでDockerコンテナのクラスタを形成する
SerfでDockerコンテナのクラスタを形成する “Serf虎の巻”書いたし，Serf使っていろいろやってみるかということで，Dockerコンテナのクラスタ形成をやってみた．SerfとDockerの組み合わせについては，すでに[shiba_yu36]()さんが試みている（“serfとDockerでクラスタを組んでみる”）ので，もう少し踏み込んでクラスタへのjoinの仕方を模索してみた． tcnksm/sample-docker-serf やってみたのは，Dockerコンテナのみでのクラスタの形成． 準備 Vagrant上で実行する．Vagrantfileは以下． $script1 = <<SCRIPT echo Installing depedencies... sudo apt-get install -y unzip echo Fetching Serf... cd /tmp/ wg
SerfでHAProxyの更新 on Vagrant
SerfでHAProxyの更新 on Vagrant Serfの典型的な使い方として紹介されることの多い，HAProxyの登録/更新をやってみた．これは既に何人かの方が試みているし，SerfのGithubのdemoページでも紹介されている． hashicorp/serf/demo/web-load-balancer “Serf+HAProxyで作るAutomatic Load Balancer” “Synapse と Serf でサービスディスカバリ” これらが何をやっているかを簡単に書くと，1つのProxyサーバ（ロードバランサ）と複数のWebサーバという構成において，Webサーバの増減に応じてロードバランサの設定を自動で書き換えるというもの． これをVagrantで複数サーバを立ち上げて，自分で手を動しつつ触ってみた． tcnksm/sample-serf-haproxy Vagran
【Serf】v0.6.0がリリースされたので使ってみた | Pocketstudio.jp log3
HashiCorp 社によるオーケストレーションツール、Serf の最新バージョン v.0.6.0 が 5/9 (現地5/8)に公開されました。 新機能としては、鍵ローテーション対応や、タグ指定のために外部 JSON ファイルが利用可能になったこと、’serf info’ で統計情報が出力されること、ノード追加時のオプションで’–retry-join’がサポートされたことがあげられます。改良点としては、’serf query’ の出力結果で JSON が選べるようになったほか、syslog へのログ出力が可能になったことです。 Serf 芸人（見習い）としては、とりあえず使ってみなくては！、という事で、以下検証になります。 ■ README に目を通してみると 今回の更新情報を見るためには、README を読むのが手っ取り早いですね。 新機能を見ていくと、 鍵のローテーションを行えるよう、
ZabbixのAPIを使って運用を楽しくする話
「ZabbixのAPIを使って運用を楽しくする話」 'Serf orchestration with ZABBIX APIs' Serf the Liberator - 始まりの物語 ---- 1. ZABBIX API 超入門 ・シェルで始める ZABBIX API (言語知識不要) 2. Serf と Zabbix の連携 ・Serf とは？ ・API を使えば、こんな事が簡単にできるよ！ 3. 仕事は楽しいかね？ ・ Serf the Liberator 【叛逆の物語】 ---- 第6回 ZABBIX-JP勉強会 http://atnd.org/events/48954 Masahito Zembutsu Apr 12, 2014 , Osaki Tokyo ZABBIX-JP 6th meetup #zabbix_jp
【Serf】ダイナミック tag をリモートから変更する方法 | Pocketstudio.jp log3
自分用(._.) φ メモメモ ■ダイナミック・タグ機能とは Serf は v.0.4.0 以降、タグ機能が使えるようになりました。各々のノード上で、任意の「key」と「value」の情報を保持します。タグは複数設定することができます。 なにより、この機能はダイナミックタグと呼ばれています。その名前の通り、随時タグの情報を追加・変更・削除することが出来ます。これは、古いバージョンの「role」機能に相当しますが、変更する時は serf エージェントの再起動が必要でした。ダイナミックタグでは、その必要がありません。 また、タグを変更するとイベントハンドラ「member-update」も発効します。このタイミングに合わせて、任意のコマンドや処理を行う事も可能です。 そんなタグですが、リモート上にある Serf エージェントのタグを変えたいときは一手間が必要です。以下は、その手順を簡単に整理しま
Serf設定オプションまとめ | Pocketstudio.jp log3
Serf ( http://serfdom.io/ ) の agent 設定オプションを整理しました。 ※ 現行のバイナリ配付版 version 0.5.0 に対応。 まとめた動機は、いくつかあります。まずは、Serf に興味を持たれる方が増えてきたので、設定時の参考になるように。自分自身、設定を忘れてしまうこともあり、再整理しなくてはと思っていました（去年スライド公開用に整理した時に比べ、使えるオプションが増えています）。 そして、tcnksm @deeet さんの Serf 虎の巻 （これは素晴らしいまとめ） に触発され、自分の手許に散らばっているメモを整理しようと思い立ちました。 当記事は、オフィシャルのドキュメント、SERF AGENT Configuration の内容に準じています。 ■ Serf エージェントのオプション設定は２種類 エージェントの設定オプションは、コマンドラ
Serf 虎の巻
Serf 虎の巻 サービスディスカバリーとオーケストレーション用のツールであるSerfについてまとめた．基本的には公式のHPのGetting Startの抄訳．Vagrantで試験環境を立てて実際に触りつつSerfを使い始められるようにした． 目次 Serfとは Gossip protocolとは 試験環境の準備 クラスタの形成 クラスタからの離脱 イベントハンドラ カスタムイベント カスタムクエリ コマンド一覧 参考 Serfとは Serfはサービスディスカバリーやオーケストレーション，障害検出のためのツール．Vagrantの開発者であるMitchell Hashimoto氏により開発が進められている．SerfはImmutable Infrastructureの文脈で登場してきたツールであり，Immutableなシステムアーキテクチャー，デプロイを実現する上で必須のツールである． Imm
【検証】Serf 0.5.0の新機能を試してみた【queryが便利】 | Pocketstudio.jp log3
Serf version 0.5.0 が 3月12日付けでリリース（CHANGELOG）。 今回は新しく「query」コマンドがサポートされた事が、一番大きな変更点の模様。コマンドの実行結果が確認できるので、個人的にはこれが強力な機能と思ってます、例えば、複数のリスト化されていないサーバ群に対して、一括 SSH コマンドの実行＆結果確認が出来るようになりました。勿論、任意のスクリプトを実行させることも出来ますし、何気に運用が弁理になりそうと期待しています。 その他、の主な変更点は、serf コマンドに reacability (到達性) がサポートされたり、serf member で -name によるフィルタがサポートされたこと、そして、member-reap イベントのサポートなど。 以下、query コマンドと reachability 機能を試してみました。 ◆ 新しい query
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Consul for Service Discovery - Mitchell Hashimoto Explains - ActiveState
正月休みだし Serf 触ってみた : sonots:blog
ご注文は監視自動化ですか？
