Shadow Proxyのご紹介 at Quipper - Qiita
この記事はQuipperのテックブログに書いた以下の記事の日本語版での要約です。 http://quipper.github.io/2015/11/11/introducing-shadow-proxy.html Shadow Proxyとは？ 本番のHTTPリクエストから同等のリクエストをステージング環境に適用するための仕組みです。主な目的は、2年以上の運用で肥大化したMongoDBに対するindexの追加/削除/つけ忘れなどを事前に検証・検知するためです。 構成 Fluentdが大活躍しています。 Reverse Proxy Log AggregatorにNginxのアクセスログを転送する Log Aggregator S3(バックアップ),BigQuery(調査用),Shadow Proxyにアクセスログを転送する アクセスログをもとにステージングのアプリにHTTPリクエストを送信す
大規模システムにおける5つのログ転送パターン
成功者がどのようにNew Relicを使用してKubernetesのパフォーマンスを4倍に向上させ、拡張性とスループットを改善したかをご覧ください。
Kubernetes 上のアプリケーションから Stackdriver Logging に構造化ログを送る - スタディサプリ Product Team Blog
SRE チームの @yuya-takeyama です。 Quipper の SRE チームでは AWS や Kubernetes を用いたインフラの構築、CI/CD パイプラインの構築・改善等様々な Developer Experience の向上、社内のあらゆるサービスのマイクロサービス化のサポート、そしてそれに伴う複雑化にも耐え得るよう、サービスの安定稼働を支えるためのルール・ツール群を整備しています。 今日はその中でも、簡単かつより精緻に Logs-Based Monitoring が行えるよう、GCP の Stackdrider Logging に構造化ログを送る方法について紹介します。 構造化ログとは ここではとりあえず「Machine-Readable なログ」として定義します。通常のログはテキストベースの Human-Readable なもので、UNIX 哲学においては行指向
NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog
Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問題を解消するにあたり Fluentd に PR を送ったのでそれの紹介もします。 https://github.com/fluent/fluentd/pull/2352 データ収集基盤の構成 Repro のデータ収集基盤はFlunetd High Availability Configをもとに構成され、大まかに次のようになっています。 SDK からアップロードされたデータは、転送用 Fluentd(log forwarders)を経由し
クレジットカード番号がログに残らないようにする fluent-plugin-pan-anonymizer をリリースしました
クレジットカード番号がログに残らないようにする fluent-plugin-pan-anonymizer をリリースしました カンムでは業務でお客様のクレジットカード番号を扱っています。お客様の安全のため、PCIDSSの要件をクリアするため、コンプライアンス遵守のため、カード番号は安全に取り扱う必要があります。この記事では対象をログに定め、ログに不用意にカード番号が残らないような仕組みについて書きます。 fluent-plugin-pan-anonymizer端的に言うと、こちらの fluent filter plugin を開発し、このプラグインを経由させることでカード番号がログに記録される前にマスクしています。 https://github.com/kanmu/fluent-plugin-pan-anonymizer プラグイン名に入っている PAN は Primary Account
fluentbit
1[INPUT] 2 Name tail 3 Tag tail.01 4 Path /var/log/system.log 5[OUTPUT] 6 Name s3 7 Match * 8 bucket your-bucket 9 region us-east-1 10 store_dir /home/ec2-user/buffer 11 total_file_size 50M 12 upload_timeout 10m 13[OUTPUT] 14 Name splunk Fluent Bit enables you to collect logs and metrics from multiple sources, enrich them with filters, and distribute them to any defined destination. Optimized data
Docker 1.8 の Fluentd logging driver でコンテナログをフォワードする - Qiita
Docker は 1.6 から Logging Drivers というのが追加され、コンテナからのログというものをどのように扱うかをドライバとして差し替えできるようになったとのこと。 そして Docker 1.8 からは Fluentd logging driver が追加され、ログ自体を fluentd を通した状態で扱えるようになりました。ログに fluentd の tag が付与された状態になるので、fluentd 集約サーバへ転送することであとは自由に操作することができそうです。 Fluentd 集約サーバ Docker の Fluend logging driver によって転送される先となる Fluentd 集約サーバを用意します。今回はこの Fluentd サーバも Docker コンテナとして動作させることにします。 Docker Hub に Fluent コミュニティから
docker fluentd logging driver の基礎的な設定 - Qiita
docker container では、コンテナ内の何かしらのプログラムが標準出力 (strout) や標準エラー (stderr) に出力した内容を docker logs コマンドで取得することができます。 しかし能動的に取得しいにいくだけでなく、何かしら別の方法で forward をしてくれると助かることもあります。 docker では logging driver という機構で、stdout / stderr に出力された内容を指定された方法で forward する仕組みがあります。 サポートされている logging driver の種類については以下公式ドキュメントを参照ください。 そのうち、この記事では fluentd logging driver についてのみ触れます。 overview fluentd logging driver は、上述の logging driver
TCP serverをSSL/TLS化するのに nginx の stream_ssl_module/stream_proxy_module が便利 - たごもりすメモ
最近 Fluentd の通信プロトコルまわりをアップデートするためにあれこれいじっている*1んだけど、これはおおむね fluent-plugin-secure-forward がサポートしていた内容を Fluentd 組込みの forward plugin でもサポートしますよ、というものになる。 んで問題なのが secure-forward は SSL/TLS での接続のみしかサポートしてなかったんだけど forward では生の TCP で通信する*2ので、本当に secure-forward と forward それぞれの実装間で互換性が保たれているのか、直接的には確認する手段がない、ということになってしまう。 TCP server の SSL/TLS 化 一方世の中には SSL/TLS ターミネータという機能があって、たとえばロードバランサなんかがこの機能を持っている。何をやるかと
LinuxCon Japan 2016に行ってきた＆しゃべってきた - たごもりすメモ
LinuxCon Japan、今回は ContainerCon Japanとの併催。サブトラックみたいなのもいくつかあった。 とにかく普段に自分が行くカンファレンスとぜんぜん空気が違ってて、東京都内で行われてるカンファレンスなのに会場の感じとか食事・飲み物の提供とか冷房のキツさとか、あれこれがだいぶ海外のカンファレンスっぽい。参加費が高いからできることなんだろうけど。そして海外からと思しき参加者も非常に多かった。すごいな。 日本国内からも大手メーカー系のスポンサードと参加者が非常に多かった。普段見ないあたりの世界だなあ。 しゃべってきた プロポーザルを出してみたら通ったので初めての参加＆発表だった。行ったことないので全体的にどういう空気なのかも分からないまま、初日のキーノート後の通常の発表枠の中で最初に時間だった。お、おう……。 今回はロギングに関してのアーキテクチャを議論するよ、というこ
Fluentd new logo proposal · Issue #924 · fluent/fluentd
My friend and colleague @johntrabelsi proposed this issue: FLUENTD LOGO IS TOO WEAK. Here is his proposal: Weak means that it is buried among other logos in a busy page. That is a significant issue as a logo. In a case like this, we can see how the current fluentd logo is weak for general use: Here is another example that is used in a AWS network diagram: Note: @johntrabelsi is a designer who has
LogZoom, a fast and lightweight substitute for Logstash
Today, we at PacketZoom are proud to release our open source tool LogZoom, a fast, lightweight, and reliable log data indexer written in Go. If you've ever considered using Logstash, Fluentd, or some other tool for log aggregation, you may want to consider using LogZoom instead. Here are a number of resources for getting up and running with LogZoom: Home page Binary release for Ubuntu 14.04 Exampl
カジュアルにMySQLスローログ可視化with Fluentd+Elasticsearch+Kibana - kikumotoのメモ帳
この記事は MySQL Casual Advent Calendar 2015 - Qiita Elasticsearch Advent Calendar 2015 - Qiita Hamee Advent Calendar 2015 - Qiita の第４日目です。 TL;DR 開発者の皆さんに、CasualにMySQLスローログを分析しもらうために、Fluentd + Elasticsearch + Kibana でMySQLスロークエリを下図のようにビジュアライズしました。（Kibana上で EXPLAIN の結果も確認できるようにしてあります） ついでに、以下の Fluentd の filter plugin を作成しました。 kikumoto/fluent-plugin-sql_fingerprint · GitHub kikumoto/fluent-plugin-mysql_e
ngx_mrubyのTCPロードバランシングを使ってFluentdのTCP通信とグラフ画像へのHTTP通信を動的に集約する - 人間とウェブの未来
昨日、ngx_mrubyのTCPロードバランシング機能に対応した記事を書きました。 hb.matsumoto-r.jp というのも、実は以下に説明するようなFluetnd+Norika+GrowthForecastを利用したスケールアウト型のシステムを簡単に作りたかったからです。 ということで、まずはプロトタイプ設計みたいなものをフワっと考えてみました。 実現したい事 まずやりたいこととして、 1000台以上のサーバ群からのFluentdによるTCPデータをそれぞれの転送元サーバに紐づく任意のバックエンドサーバに振り分けたい 転送元サーバ群はそれほど増減しない バックエンドサーバをスケールアウト型に増やす場合に、転送元サーバの設定は変更したくない 転送されたログは転送先サーバ内でグラフ化されるので、任意のHTTPクライアントによって取得したい転送元サーバのグラフ画像を適切なバックエンド（F
SORACOM BeamでFluent Bitからセキュアにセンサーデータを転送する #soracom | DevelopersIO
ども、大瀧です。 長らくステルスモードだったIoTプラットフォームのスタートアップ、SORACOM, INCのサービスが発表されました。 早速試してみたレポートを2本と応用編としてSORACOM Beamの設定例を2本、同時公開します！ 新IoTプラットフォームSORACOMを試してみた 3GPi on Raspberry Pi 2 + SORACOM Air SIMでインターネットに接続する SORACOM BeamでFluent Bitからセキュアにセンサーデータを転送する【本記事】 SORACOM BeamでAmazon KinesisのTLS処理をオフロードする 本エントリーでは、OSSのデータコレクタFluentdの組み込み版であるFluent BitからSORACOM Beamを経由させてTLS暗号化しつつ、AWS環境のFluentdサーバにデータを送信する構成をご紹介します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
秒間数万のログをいい感じにするアーキテクチャ
Fluentd ソースコード完全解説 (v0.10向け)
Handling insert errors by hokuts · Pull Request #38 · fluent-plugins-nursery/fluent-plugin-bigquery
Fluentd vs. Logstash for OpenStack Log Management
「スプラトゥーン」リアルタイム画像解析ツール 「IkaLog」の裏側
