なめらかなシステムと機械学習と私 - ペパボ研究所ブログ
こんにちは、研究員の三宅です。インターネットでは @monochromegane として活動しています。これまで、ムームードメインやminneといったサービスの運用開発を担当していましたが、今期よりペパボ研究所の研究員として研究開発に携わることになりましたので今後の取り組みと抱負について書いていきます。 ペパボ研究所となめらかなシステム 今回携わることになったペパボ研究所は ペパボ研究所(略称「ペパ研」)は、事業を差別化できる技術を作り出すために「なめらかなシステム」というコンセプトの下で研究開発に取り組む組織です。アカデミックな水準における新規性・有効性・信頼性を追求する研究を行うとともに、研究開発した技術を実際のシステムとして実装・提供することを通して、事業の成長に貢献します。 という組織です。また、「なめらかなシステム」とは以下のように定義されています。 システムにとってのユーザや、
クックパッドと分散トレーシング - クックパッド開発者ブログ
こんにちは、技術部の Taiki (@taiki45) です。 近年の Web サービスの開発ではマイクロサービスに代表されるように分散アーキテクチャが採用されるようになってきました。大規模でも素早いプロダクト開発をするために、クックパッドでもマイクロサービスを採用し分散アーキテクチャへの移行を進めています*1。今回は、そのような分散アーキテクチャを利用したシステム構築において必須のコンポーネントになりつつある分散トレーシングについて、クックパッドでの事例を紹介したいと思います。 分散トレーシングとは マイクロサービスのような分散アーキテクチャでは、個々のサービス同士の通信が複雑になるため、モノリシックアーキテクチャと比較して、システム全体としての振る舞いを把握することが難しくなります。これはプロダクト開発においては、障害発生時の原因究明が難しくなったり、あるいはシステム全体でのパフォーマ
システムにいま何が起きているのか、どんなログでも読み込んで可視化するツール「Splunk」。新しいシステム運用とセキュリティ対策を実現するシスコ製品群との連携［PR］
多くの企業のITシステムは、サーバやネットワーク機器、ストレージなどのさまざまなハードウェアとそこで稼働するソフトウェア、そして外部のサービスなどが連係して動作しています。 この複雑なシステム全体が正常に稼働しているかどうかを管理・監視するためにもっとも重要な情報として、それぞれのハードウェアやソフトウェアが吐き出すログがあります。 ログはシステムを構成するさまざまなコンポーネントから秒ごと分ごとに出力されるため、一定以上のシステム規模であれば、その容量と増加速度はいわゆるビッグデータの1つと言えるでしょう。 そこで求められるのが、ログを横断的に分析し、可視化と知見をもたらしてくれるソリューションです。この分野でいま、存在感を急速に高めているのが統合ログ管理を実現するソフトウェア「Splunk」（スプランク）です。
60秒でログをスーパーかっこよく表示 on Azure
60秒でスーパークールなログの分析官になるための記事です。 30秒でこの記事を読み飛ばして、60秒で作業をしてかっこよくなりましょう。 この画面（↓）をスターバックスで開いていたら、いかに外見的にイマイチなパソコンを使っていても安心です。 ログって見ますか？ これを読んでいる方がシステムの監視をしたり、トラブルシューティングをするのが主な仕事なら「あたりまえだよ」という答えが返ってきそうですが、一般の開発者や運用者は「いちいちログのデータを見て・・・」という作業を毎日はしないでしょう。一部の人はしたほうが良いのかもしれませんが、それはとても面倒な作業です。 この記事で扱うのはそんな作業をラクチンにするツールです。 AzureではAudit logsという機能があり、システムで起きたイベントログを記録してくれます。これで楽ちんに見れます。 なんとこれで、どんなイベントが起き、エラーなのか成功
Zipkinを導入してみた（サーバー編） - LIFULL Creators Blog
こんにちは。技術基盤部の磯野です。 弊社ではここ数年、HOME'Sのクラウド化やマイクロサービス化を推進しています。 アプリケーションのクラウドサービスへの移行に関してはそろそろ終わりが見えてきているのですが、 マイクロサービスに関してはまだまだ道半ばということもあり、推進していくにあたって、 各サービス間の依存関係やトレース情報を可視化する手段としてzipkinをAWS上に試験的に導入してみました。 今回はZipkinサーバーの導入までの手順についてまとめたいと思います。 Zipkin とは データストレージの選択 InMemory MySQL いいところ 残念なところ Cassandra いいところ 残念なところ Elasticsearch いいところ 残念なところ 基本構成 サービスのインストール MySQLの設定 zipkinのインストールと確認用の起動 supervisordのイ
logback で出すログを強制的に１行にして収集しやすく・運用しやすくする - Qiita
Java のスタックトレースや、使うライブラリによっては改行つきでログ出力したりで、１つの意味をもつログが複数行に吐き出されることがありますが、それだと収集しづらいので、強制的に１行にしておくと、fluentd などのログ収集ツールで収集しやすく・運用しやすくなります。 開発時に参照するコンソールにはヒューマンリーダブルなログがよいですが、本番でファイルに出力するログは１行にしてしまい、運用時のログの参照はなんらかのツールを介して行う、というのがよいのではないかと思います。 最近の fluentd の in_tail は複数行のパースに対応しているが format multiline とし、開始行のパターンを正規表現で書いたりしてがんばって設定することで対応はできます。 が、ちょっと書きづらい。 そこで logback のフォーマット定義で対応してみる 例えば、 <appender ...
ログ収集を効率的に行うために知っておきたい、イマドキのログ収集基盤ツール8選 - LIVESENSE ENGINEER BLOG
創造開発部インフラグループです。 (中の人：水野、中西) 昨今、SaaS 系のインフラツールが台頭してきています。 リブセンスでもかつて nagios で行っていたサーバ監視は、mackerel へと置き換わっています。 自社で持つものを厳選し、出せるものは外に出していくことで Web 企業のインフラエンジニアとして注力したい箇所へリソースを割くためにもこの手の SaaS 系ツールには注目しています。知らないだけで便利なサービスは他にもあるだろうということでリサーチを開始しました。 今回は、数ある SaaS のツールの中でもログ収集系に絞ったまとめとなります。 サーバログを管理したい時 オペレーション時に複数のターミナルを開いてログを見ながら作業を行うケースは多々あるかと思います。これから紹介するツール群は条件などで絞ったログや複数ホストのログを1枚の画面で出力してくれるツールとなります。
クックパッドにおける最近のMicroservices事例 - クックパッド開発者ブログ
こんにちは。技術部の吉川です。 最近ではMicroservicesという言葉もかなり浸透し、そのテクニックも体系化されつつあります。 一方でMicroservicesについての話は概論や抽象的な話が多く、具体像が見えないという方もいらっしゃるのではないでしょうか。 当ブログでは1年半ほど前にMicroservicesへのとりくみについてご紹介しました。 当時社内ライブラリだったGarageはその後オープンソースとして公開され、また社内のシステムも当時と比べ飛躍的な進化を遂げています。 そういったクックパッドにおける最近のMicroservices事例を先日Microservices Casual Talksで紹介しました。 Microservicesの抽象的な話は一切割愛し、具体的な事例に終始した内容となっています。 Microservicesの基本となる考え方はわかったものの、実践方法で
モンストを支えるインフラの今とこれから
dots. Conference Spring 2016 ゲーム開発の裏側 http://eventdots.jp/event/580344
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch
Facebook to open source LogDevice for storing logs from distributed data centers | TechCrunch
クックパッドのログをいい感じにしているアーキテクチャ / Logging architecture at Cookpad
GitHub - phaistos-networks/TANK: A very high performance distributed log service
『エラーメッセージは 2W1H がいいんじゃないか』へのコメント
秒間数万のログをいい感じにするアーキテクチャ
分散されたモノリスになってしまうマイクロサービス