kubernetesイベントをウォッチして動的に設定を反映する : D-7 <altijd in beweging>
kubernetesを使い始めている。かなり良いのだが、それまでの非kubernetesの世界で使っていたconsulとconsul-templateに依存する形で動的な設定変更をしていて、それが常々不満だった。もちろんロードバランスしちゃえばよいようなものはkubernetesのServiceにしてしまってそこにアクセスするようにしちゃえば手間いらずなんだけど、memcachedとかが意外にこのパターンにはまらんなーと思って困っていた。そこで ちょっと手の空いた時にTwitterで以下のようにつぶやいたところ Daisuke Maki@lestrratlazyweb: is there some sort of pub-sub mechanism to detect addition/removal of pods in #kubernetes ? 2015/08/11 13:23:56
NGINXのパフォーマンスをスレッドプールで9倍にする
はじめに NGINXが接続処理に非同期かつイベント駆動のアプローチを用いていることは、よく知られています。つまり（従来型アーキテクチャのサーバのように）、専用プロセスやリクエストごとのスレッドを他に作ることなく、一つのワーカープロセスで複数の接続とリクエストを処理できるということです。これを実現するために、NGINXはソケットをノンブロッキングモードで実行し、epollやkqueueといった効率的なメソッドを用いています。 全負荷のかかるプロセスは少なく（通常1CPUコアごとに1つのみ）一定のため、消費されるメモリは少なく済み、タスク切り替えのためにCPUサイクルが無駄遣いされることもありません。このアプローチのメリットは、NGINXの実例を通してよく知られています。NGINXは、何百万もの同時リクエストやスケールを非常にうまく処理します。 各プロセスが追加メモリを消費する。また、プロセス
nginxをdockerで動かす時のTips 3選
こんにちは。CTOの馬場です。 最近利用する機会が増えてきたdockerネタです。 nginxを動かすときのTipsを3つ紹介します。 foregroudで起動する dockerではコマンドをforegroundで動かさないとコンテナが停止してしまいます。 nginxはデフォルトはデーモンとして動くので、foregroundで動くように設定しましょう。 nginx.confで設定するならこうです。 daemon off; Dockerfileの起動コマンドで指定するならこうです。 CMD ["/usr/sbin/nginx", "-g", "daemon off;"] 動的な設定を外部化する イメージの中に設定値を入れちゃうのはダサいですよね。 コンテナ起動時に動的に設定したいものです。 dockerの場合は docker run 時に -e で環境変数を指定できるので使いましょう。 do
フロントエンジニアに知ってもらいたいリバースプロキシの重要性 | RickyNews
Randen Pederson 大規模なシステムであれば使っているであろうリバースプロキシ。 セキュリティや稼働率の観点からみて利用することは非常にメリットは高いです。 ただ、社内や周りであまり知見がなく、 「動くからいいや」という理由でApacheをそのままWebサービスの一次受けとして利用されている方も多いと思います。 動くという目的からすれば確かにその通りですが、ただ一枚リバースプロキシを入れるだけで ぐっと運用効率、稼働率も拡張性も上がります。 1. ルーティング処理の簡略化 例えばRESTfulな一般的なAPI構成を作りたいと思った時に以下のようなURL構成になると思います。 http://api.something.com/search/v1/item/list.json?cid=xxxx&gid=xxxxx もしアプリケーション側のルーティングしか知らなければframewor
Nginx でベーシック認証をかける手順メモ - bekkou68 の日記
nginx.conf ファイルの存在するディレクトリに移動して htpasswd ファイルを作成する。 $ cd /etc/nginx $ sudo htpasswd -c htpasswd <username> 新規に作成するユーザのパスワードが求められるので入力する。 nginx.conf を編集する前に念のためバックアップとる。 $ sudo cp nginx.conf nginx.conf.20131005 以下のように編集。/administrator/* にベーシック認証をかける例。 + location ~ ^/administrator/* { + auth_basic "Restricted"; + auth_basic_user_file htpasswd; + proxy_pass http://backend.example.com; # as you like +
nginx_as_forward_proxy [nognu Wiki]
haydn.nognu.de is running nginx inside a FreeBSD jail to act as a forward proxy to other webservers in other jails. This originally was a blog post, but I copy & pasted it here to reflect configuration changes, etc. First, I got a jail up and running and installed nginx there. I configured it to listen on port 81 to test it out thoroughly without interruption. Fairly quickly the initial configurat
PostgreSQLのログをfluentdで回収する設定 - still deeper
PostgreSQLのログをfluentd経由で回収するようにしたので設定を晒しておきます。ほぼ同じ設定を使いまわせるはずなので、fluentd & postgresの組み合わせを使っている人はどうぞ。 PostgreSQL側 postgresql.conf postgresのログの設定はこんな感じ。 # csvlogを出力 logging_collector = on log_destination = 'csvlog,stderr' # 1日でローテーション log_rotation_age = 1440 # /var/log/pgsql/postgres-%Y%m%d.(log|csv)に出力 log_directory = '/var/log/pgsql/' log_filename = 'postgres-%Y%m%d.log' # modeを644に log_file_mode
トラブルに備えるJVMオプション - n-agetsumaの日記
以前の記事でトラブルが起きた後の初動対応を書いてみたが、いざトラブルに遭遇すると、まず再起動してからどうするか考えるケースが多いと感じている。しかし何も情報がないと『情報がない/再現方法が不明』などの理由からそのままお蔵入りになってしまう。今回はトラブルに事前に備えるために、地味だけど大切なJavaVMのオプションをまとめてみる。 GCログの出力とローテーション OutOfMemoryError発生時のヒープダンプ自動出力と出力パス設定 JavaVMクラッシュログの出力パス設定 JVMオプションの設定 (OpenJDK/OracleJDK) JavaVMにはGCおよびヒープメモリの状態をロギングする仕組みや、OufOfMemoryError時にヒープダンプを自動的に出力するような障害に備えて自動的に情報を出力する機能がある。おすすめのオプション*1は以下の通り。 java -Xms?g -
python 版 Chef の Salt ってどんなもの？
python 版 Chef の Salt ってどんなもの？ 1 minute read Published: 19 Apr, 2013 ちまたでは ruby 製のサーバ管理ツールである Chef が賑わっているようですが、python 大好き派な私はついつい python 製の代替製品を探してしまいます。python ではたいてい [pypi] から探してくるのですが最近 salt というサーバ管理ツールを見つけて魅力に取り憑かれつつあります。 salt のリンク なにはともあれサイトへのリンクは下になります。 salt の公式ページ（Salt Stack というのは salt の開発会社） http://docs.saltstack.com/ ダウンロード先（ただ、インストールは easy_install で行けます） https://pypi.python.org/pypi/salt
はじめてのCloudWatch（AWS） 〜カスタムメトリクスを作って無料枠でいろいろ監視する〜 - Qiita
EC2のサーバ監視にCloudWatchを初めて使ってみました。 カスタムメトリクスを作って、CPU使用率、HttpStatus、Memory使用率、LoadAverageの監視を行うようにしたので、手順をまとめておきます。 CloudWatchは無料枠で10メトリクス、10アラームまで設定できるとのことなので嬉しいですね。 以下、公式サイトより引用 無料利用枠* Amazon CloudWatch は無料で始めることができます。アプリケーションの多くは、これらの無料利用枠内で利用できるはずです。 Amazon EBS ボリューム、Elastic Load Balancers、Amazon RDS DB インスタンスのすべてのメトリックス同様、Amazon EC2 インスタンスの基本モニタリングのメトリックス（5分間隔）は無料でご利用いただけます。 新規および既存のお客様は、10メトリック
AWSでリージョン間の自動DR構成を構築してみた #vgadvent2013 - s_tajima:TechBlog
こんにちは、 VOYAGE GROUP エンジニアブログ Advent Calendar 2013 の2日目担当の @s_tajima です。 僕は今インフラエンジニアとして働いているのですが、 障害が発生すると携帯にアラートメールや電話がとんできて対応を迫られます。 そして障害というのはたいてい楽しいイベントが行われているときに発生するものです。 そういうものと割り切ってせっせと対応をするのもよいのですが、 僕は年末の楽しいイベントを邪魔されたくありません。 それはもちろんAWSの東京リージョンのデータセンターがすべて同時に火事でなくなってしまうような非常事態でもです。 ということで今日はAWSのリージョン間自動DR構成をつくってみた話をしようと思います。 今回のDR構成を構築する上で、カギとなるAWSの機能は以下の3つです。 Route53のELBに対するDNS FailOver ht
端末から出たくない人にオススメする超個人的な設定 - Qiita
今回は､端末(ターミナル)からなるべく出たくない人にオススメする設定の紹介です｡基本的に、Macで動作するツールを使って紹介しますが､WindowsやLinuxでも応用できる内容になっています｡ なお、設定後は､アプリやシェルを再起動する必要や設定ファイルを読み込み直す必要があったりしますので､その辺りは気をつけてください｡ ファイルのプレビュー、画像の閲覧など 画像関連は、端末との相性は悪いです｡ここは、外部ツールと連携することにしましょう｡ Xを使っても良いのですが､通常のデスクトップには､それなりの画像を閲覧するソフトが入っている事が多いです。よって、それを使いましょう｡ ここでは、qlmanageというコマンドを使ってみます｡なお、インターフェイスはzawを使用します｡ zaw-open-file mkdir -p ~/dotfiles/.zsh/plugin/ cd !$ git
net.core.somaxconnについて調べてみた - 祈れ、そして働け ～ Ora et labora
概要 ↓ memcachedのtcp_backlogのデフォルト値は1024で、stats settingsにも1024と表示されているのですが、 stats settings ... STAT tcp_backlog 1024 ... END↓ net.core.somaxconnがデフォルト値のままだと128に切り詰められてしまい、 # cat /proc/sys/net/core/somaxconn 128負荷が高いサーバーでは接続要求を取りこぼしてしまうことがあるそうです。 このnet.core.somaxconn、MemcacheやMySQLなど、高負荷時に多くの接続要求を受け付けるサーバーではチューニングが必要なカーネルパラメータのようです。いったいどういう値なのか、調べてみました。 net.core.somaxconnとは TCPソケットはlisten()関数の第二引数 ba
EBSからブートしたEC2インスタンスにエフェメラルディスクを起動時に自動マウントする方法 - hiroohiのメモ
ググってもあまり出てこなかったので。 EC2インスタンスのti.micro以外のインスタンスサイズでは、ephemeral diskという無料で使えるストレージ領域が使えます。この領域はインスタンス停止等出来てしまうので一次領域として使うことが出来ます。 …というの案外知られてないですよね。 このephemeral diskの領域はかなりでかいので、使わない手はないです。 カジュアルなインフラしか使えない使わないポリシーの自分ですので、コマンドを叩かずManagement Consoleだけで使えるようにする方法をメモしときます。 なお、大前提として、Amazon Linuxを使う場合、です。 Management Consoleのウィザードで、Ephemeral Diskを有効にする EC2インスタンスを起動するときに表示されるウィザードの「Storage Device Configur
イマドキのIDE事情 第154回 簡単デプロイ!「Gitblit」で共有Gitサーバを手軽に構築 - たけぞう瀕死ブログ
IDE連載の第154回です。今回はWebベースのインターフェースも備えたJavaベースのGitサーバGitblitを紹介しています。 http://news.mynavi.jp/column/ide/154/index.html Gitサーバを自前で立てようとするとインストールやら設定やらなにかと面倒ですが、GitblitはJavaで実装されており、Tomcatなどにwarファイルをデプロイするだけで使うことができます（Tomcatの場合、実際は多少Tomcatの設定を変更しなければならない箇所はありますが…）。内部的にJavaで実装されたJGitを使用しているためGitすら不要という手軽さです。 この手軽さはJenkinsに通じるものがありますね。Jenkinsの場合、当時CIツールとしては既に他のツールがあったわけですが、その導入のしやすさと使いやすさから一気に主流になり、現在に至るま
データレイクと分析 - ユースケース別クラウドソリューション | AWS
AWS は、あらゆるデータ分析のニーズに適合する包括的な分析サービスを提供し、あらゆる規模や業種の組織がデータを活用してビジネスを改革することを可能にします。ストレージと管理、データガバナンス、アクション、エクスペリエンスなど、AWS は最高のコストパフォーマンス、スケーラビリティ、最低コストを実現する目的に合わせたサービスを提供します。 データベース、ログストリーム、アプリケーション、マーケットプレイス、データレイク、ウェアハウスのどこにあっても、AWS、オンプレミス、その他のクラウドのすべてのデータにスムーズかつほぼリアルタイムでアクセスできます。AWS では、データベース、ストリームとログ、データウェアハウスまたはデータレイク、アプリケーション、データマーケットプレイスなど、データを管理するための最も包括的なサービスセットを提供しています。 コンプライアンス義務を果たすために、信頼で
Play2.0のtarget/startとその停止方法について調べたこと - ぼっち勉強会
評価/本番環境へデプロイする過程で調べたことについて書きます。 バックグラウンドでPlayを起動する(target/start) 起動時にDB設定などを指定する target/startで起動したサーバーを停止する 環境 Play2.0.4 Scala2.9.2 バックグラウンドでPlayを起動する(target/start) Playを起動するにはいくつかのコマンドがあります。 こちらから説明を引用します。 play run run コマンドは開発モードのためだけに用意されたものなので、本番環境では絶対に利用しないでください。開発モードの場合、リクエスト毎に sbt が全てのソースファイルの更新チェックを行ってしまいます。 この理由から、デプロイコマンドとしてrunは不適切です。 play start 詳細は先のリンクを見て頂くことにして、問題となるのは次の部分。 プロセスを切り離すため
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
15分で始めるmonitによるサーバ監視
「機械学習基礎」簡単な問題を解いて理解しよう！前篇｜【Tech総研】
