DevOps時代の開発者のためのOSSクラウド運用管理ツール5選まとめ：ユカイ、ツーカイ、カイハツ環境！（30）（1/3 ページ） DevOpsという観点で、クラウドに使えるオープンソースの運用管理ツールとして、Zabbix、Hinemos、Hyperic HQ、Scalr、Aeolusの特徴をまとめて紹介します。 開発者も“運用”管理の時代 アジャイル開発の注目とともにクラウドによるインフラ構築の効率化、さらにはDevOpsといった開発・運用の継続的な改善とリリースの自動化による短期リリースの実現が注目を浴びています。 クラウドを利用した場合、クラウド本体の運用・管理機能を利用して環境構築やシステムの監視、負荷状況に合わせたスケールアウトができます。 しかしながら、各クラウド固有の機能を利用してしまうと、そのクラウドにロックインされてしまい、将来、より安いクラウドが登場したときの乗り換え

.zshrcにstatic_httpdって関数つくってる。 dotfiles/.zshrc at master · kamipo/dotfiles · GitHub function static_httpd { if type plackup > /dev/null; then plackup -MPlack::App::Directory -e 'Plack::App::Directory->new(root => ".")->to_app' elif type ruby > /dev/null; then if ruby -v | grep -qm1 'ruby 2\.'; then ruby -run -e httpd -- --port=5000 . else ruby -rwebrick -e 'WEBrick::HTTPServer.new(:Port => 5000, :D

2013/02/18 Yahoo! Open Hack Day 参加作品 KLab賞 受賞 ソースコードはこちら: https://github.com/mirakui/tuningsan 説明: http://blog.mirakui.com/entry/2013/02/20/003401

はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める

Description Labeled Tab-separated Values (LTSV) format is a variant of Tab-separated Values (TSV). Each record in a LTSV file is represented as a single line. Each field is separated by TAB and has a label and a value. The label and the value have been separated by ':'. With the LTSV format, you can parse each line by spliting with TAB (like original TSV format) easily, and extend any fields with

追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー

アーキテクチャ決定のためのシンプルなフレームワーク This article describes a framework for making architectural decisions using three building blocks: The company's own Technology Radar; Technology Standards; and Architecture Decision Records (ADRs). ...

忘年会シーズンで肝臓への負担を極力避けている@masudaKです。今回はJavaアプリケーションの運用のポイントに関して、書いてみたいと思います。 このエントリはJava Advent Calendar 2012の22日目のエントリです。 Javaアプリケーションの運用ポイントとは 昨今ではLLのほうが敷居が低く、開発スピードも早いということからか、PHPやRubyなどのLLによるWebアプリケーションが多くリリースされているかと思います。 しかしながら、TwitterがJVMベースの開発にシフトしたように、より深いレベルで実装を行おうとした際にLL以外の実装も一つの選択肢として残っているのは間違いないでしょう。 そのようななかで自分が最もよく触れているJavaでのアプリケーションの運用ポイントについて述べてみたいと思います。 ここでいう「運用」とは、サービスをリリースしたのち、サービスへ

ログは、システムの障害解析（デバッグ）や運用モニタリングに使うことを想定して、コンピュータに発生したイベントの履歴を時系列に沿ってファイルに出力したものである。有用なデータではあるが、扱いにくい面がある。そのため、複数のログを突き合わせて分析するといった活用が難しく、従来はもっぱら一つのログを単独で利用するにとどまるケースが多かった。 扱いにくい面とは、例えば「ログを一括して処理するには対象ログを各サーバーから収集しなければならない」「ログはサイズが大きくなりがちなので収集する場合は一部を抜き出すなどの加工が必要」といったことである。ログに新たなデータが書き込まれた際に、それを即座に取り出す手段が用意されていないこともそうだ。 こうしたログの扱いにくさは、「ログ収集基盤」と呼ばれるソフトウエアを使うことで克服可能である。ログ収集基盤は、複数のログを結び付けて分析する際などに必要な、対象ログ

動画ストリーミングサービスを提供する米Netflixは11月26日、分散サービス運用のためのライブラリ「Hysterix」をオープンソースで公開した。クラウドサービスの耐久性を強化できるとしている。 Hysterixは分散サービスのやり取りを制御するツール。2011年に同社内のAPIチームがスタートしたプロジェクトで、現在Hysterixを経由して、100億単位のスレッド分離コール、1000億単位のセマフォ分離コールが実行されているという。システムのアップタイムと耐性を大きく改善できたと報告している。 Hysterixを利用することでサービス間のアクセスポイントを分離し、レイテンシや障害耐性を改善できるという。また、同時にフォールバックオプションを提供することで、システム全体の耐性を改善できるという。 HysterixはGitHubのプロジェクトページより入手できる。ライセンスはApach

POST /post HTTP/1.1 Host: localhost Content-Type: application/x-www-form-urlencoded Content-Length: 7 foo=bar 1行目は request-line で、 method URI HTTP-version の形をしています。URIはホストを含めた絶対URIの場合と、ホストを含めない絶対パスの場合がありますが、絶対パスの方が一般的です。 2行目から空行までが request-header です。各行は field-name: field-value の形をしています。 field-name は大文字小文字を区別しません。 request-line から request-header とそれに続く空行まで、改行は CR LF になってます。Windowsでよく見る改行コードですね。 meth

Practical resource monitoring with munin Munin User Group Japan http://munin.jp/ Sep 8, 2012 @ OSC1020 Tokyo/fall

muninはサーバのさまざまな情報をグラフ化して表示するソフトです。 つい”ムーニン”と言ってしまいますが、”ムニン”がいいようです。 サーバ監視ツールということですが、例えて言うなら、自動車のメーター類のような働きをします。Ganglia、CactiやCloudForecastが同分類のソフトになります。 具体的にどのような場面で重宝するかと言いますと、サーバを増やす際のスペックを検討するときも、失敗する可能性が減らせます。 メモリをいくら搭載するものを用意すればいいのか、CPUはもう少し安いものでも問題無いのかなど、見積もることが簡単になります。 例）メモリを48GB搭載したサーバの利用状況 また以前は、何か障害が起きたときに、人間が手動でデータをかき集めてくるということをよくやっていましたが、Muninを入れてからはその手間は減り、より詳しい情報を参照して原因の特定・対策を講じること