AWS FireLensってなんだ？ - Qiita
What's？ AWS FireLensについて、知っておきたかったので軽く調べてみました、と。 AWS FireLensとは？ AWS FireLensとは、2019年9月に発表された、Amazon ECSで使用できるログルーターのことです。 Firelens の発表 – コンテナログの新たな管理方法 タスク定義の中に含めてサイドカーとして配置しつつ、他のコンテナからはログドライバーとして使用します。 カスタムログルーティング AWS FireLensからは、Amazon CloudWatch LogsまたはAmazon Kinesis Data Streams、Amazon Kinesis Data Firehose、そして別のFluentdやFluent Bitに転送することができます。 以下のタスク定義サンプルは、Firelens の発表 – コンテナログの新たな管理方法からの抜粋
Using custom log routing - Amazon Elastic Container Service
You can use FireLens for Amazon ECS to use task definition parameters to route logs to an AWS service or AWS Partner Network (APN) destination for log storage and analytics. The AWS Partner Network is a global community of partners that leverages programs, expertise, and resources to build, market, and sell customer offerings. For more information see AWS Partner. FireLens works with Fluentd and F
Spark StreamingからAmazon Kinesis Analyticsへ移行する話 - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の森本です。主な業務は記事配信アルゴリズムの改善とログ基盤の整備です。 Gunosyでは、ユーザーへより良い記事を提供するためにアクセスログをストリーム処理し、集計結果を記事配信アルゴリズムに活用しています。 ストリームログ基盤にはSpark Streamingを利用していますが、現在Kinesis Analyticsへ移行中です。 この記事ではKinesis Analyticsへ移行する理由や運用上のTips等についてお話します。 Spark Streamingを利用したストリームログ基盤構成 現在のストリームログ基盤はSpark Streamingで集計を行い、結果をRDSに保存しています。 なぜSpark StreamingからKinesis Analyticsへ移行するのか サーバーコストと運用コストの削減を目的としています。 サーバーコストについ
無線 LAN の通信品質を見える化する話 - Technology of DeNA
これは DeNA Advent Calendar 2018 その2 の 7 日目の記事です。 こんにちは、IT 基盤部ネットワークグループの寺増です。 ネットワークグループでは、各サービスを提供している DC ネットワークの他、DeNA グループ全体のオフィスネットワークの管理・運用も行っています。 今回は、中でも日々重要性が増している無線 LAN の特徴と、それを安定的に運用するための通信品質観測の仕組みについて、本社ヒカリエを例に紹介します。 目次 はじめに 無線 LAN とは 有線 LAN との違い オフィスの無線 LAN と家庭の無線 LAN オフィスの無線 LAN で発生する様々な事象 無線 LAN の通信観測の仕組み リスト生成 データ収集 データ集計 データ蓄積／可視化 まとめ はじめに 1. 無線 LAN とは 無線 LAN とは、国際標準規格 IEEE802.11 で定義
2017年12月7日 「Fluentd v1.0」がリリース、マルチプロセス、Windowsサポート、700以上のプラグイン | gihyo.jp
Linux Daily Topics 2017年12月7日「Fluentd v1.0」がリリース、マルチプロセス、Windowsサポート、700以上のプラグイン 12月6日（米国時間）、米テキサス州オースティンで開催中の「KubeCon + CloudNativeCon」（主催: The Linux Foundation）の会場において「Fluentd v1.0」がリリースされた。米Treasure DataのファウンダーでFluentdの開発者である古橋貞之氏も自身のTwitterでv1.0のローンチを明らかにしている。 Fluentd v1.0 - Cloud Native Computing Foundation Did you see so many amazing news from Fluentd...!? Fluentd 1.0 is released! #CloudN
FluentdでS3にログを収集してみる | DevelopersIO
こんにちは、坂巻です。 今回は、ログ収集に関するエントリです。 AWSでログ収集といえば、CloudWatch Logsが挙げられますが、 今回はオープンソースのログ収集管理ツールFluentdを使用してみたいと思います。 最終的には他サービスを使用して、収集したログの可視化や分析してみたいと思いますが、 本エントリではS3にログが出力されるまでをゴールとします。 目次 構成 構築 AWS環境 Fluentdインストール Fluentd設定 ログ確認 さいごに 構成 以下のシンプルな構成です。 構築 AWS AWS環境の構築はCloudFormationのテンプレートを用意したので割愛します。 上記テンプレートを利用してAWS環境を構築する際は、 スタックのパラメータに以下を設定してください。 KeyPairName…EC2インスタンスにログインするキーペアを指定します。 S3Bucket
Datadog Log ManagementでNginxのエラーを監視する - Kaizen Platform 開発者ブログ
SRE Group Managerをしている前田 (@glidenote)です。 弊社では先日監視システムを刷新し、Datadogを全サーバに導入し、今年3月にDatadogから正式リリースされたDatadog Log Managementを利用しNginxのエラー監視をするようにしました。今回はその件について紹介します。 TL;DR Datadog Log Managementを利用して、Nginxのエラーを監視するようにした とりあえずLogを送っておいて、グラフを作ったり、後から必要な形に加工するという運用が簡単に出来るようになった 正式リリース間もないので、まだまだな部分があるが、手軽にログ監視が出来るので今後の機能拡張が楽しみ 前提 以前から弊社では、 Fluentdを利用して計10数億行/dayの各種ログを処理 NginxのログはFluentdを利用して、BigQueryとSe
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 2016/06/03(金)のAWS Summit Tokyo 2016でクックパッド株式会社の星さんが「秒間数万のログをいい感じにするアーキテクチャ」という発表をされました。 クックパッドのログ収集基盤が Fluentd や Amazon Kinesis Streams や Redshift を活用していい感じするアーキテクチャが参考になった方は非常に多いと思います(あの規模のサービスに関わるかはともかく)。 発表の中でKinesis Producer Library(以下 KPL)を使ってログ数多すぎ問題を解決したことが語られていました。 個人的には、Kinesis Streams のシャード数を増やせばどうにかなるレベルのサービスしか担当したことがない
MicroAdのデータ基盤 - MicroAd Developers Blog
こんにちは。インフラエンジニアの@kanga333です。 最近マイクロアドではデータ基盤を刷新しました。 今回はデータ基盤の刷新に至る背景と新基盤での設計ポイントについてざっくり書いていきたいと思います。 刷新に至る背景 マイクロアドを長年支えてきた既存データ基盤は長年の改修の結果、色々な課題を抱えていました。 データの転送がNFS, Fluentd, Kafkaなど機能毎に色々な方法で行われており、共通基盤的な部分にもかかわらず共通化ができていませんでした。 Hadoopクラスタはサービス毎に立ち上がっていました。クラスタのバージョンは更新できておらず、運用コストが膨らんでいました。 クラスタが分散しているので、データサイエンティストが新しい環境にデータを集める際に、どこににデータがあるのか各担当者にヒアリングする必要がありました。 そして、そこに第一回の記事でも触れているようにDWHの
Check! はじめての Fluentd 〜 IAMロールで Amazon EC2 と S3 間をセキュアに - Qiita
Check! はじめての Fluentd 〜 IAMロールで Amazon EC2 と S3 間をセキュアにAWSFluentdEC2IAM こんにちは、[cloudpack][] の @dz_ こと[大平かづみ][]です。 Prologue - はじめに 今回は、Fluentd から Amazon S3 へのログを送ってみます。 S3 への出力は、デフォルトで out_s3 プラグインが用意されています。セキュアな通信にするには、Credentials ( aws_key_id と aws_sec_key ) を設定すればよいのですが、設定ファイルに Creadentials を記載するのは、セキュリティやメンテナンスの点で不便です。 そこで、AWSが提供する AWS IAM の機能を利用して、Amazon EC2 インスタンスと Amazon S3 の通信を制限し、上記を実現してみたい
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ
Norikraで遊んでみた - Qiita
Norikraも0.1になり、この内容もかなり古くなりました。 Norikra0.1にあわせて新しく書き直しているので下記内容をご参照ください！ Norikra 0.1を使ってみた Norikraで遊んでみた。 RubyKaigiで@tagomorisさんが発表していたNorkraをとりあえず手元で動かしてみた。すごく簡単に説明するとFluentdみたいなデータストリームをSQLライクな言語でごにょごにょできるものである。 NorikraのスライドはSlideShareにあるので是非見ておこう。 Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi この記事はおそらく一瞬で古くなると思うが、環境は次のような感じだ。 product version
fluentdとKibanaでSSHアクセス元マップ - Qiita
大学外にポートが空いている研究室のサーバに対して，不正なSSHのアクセスが結構来ています． 今回は以下のステップで，不正アクセス元の国をKibana mapで可視化してみました． fluentdでSSHのログから不正アクセスのIPアドレスを解析 GeoIPを使ってIPアドレスから国を特定 Elasticsearchにログを収集 Kibanaのmap panelを使って可視化 GeoIPとは サイトアクセス者の位置情報を取得するGeoIP | SourceForge.JP Magazineより引用． GeoIPとは、IPアドレスを国、都市、インターネットサービスプロバイダ(ISP)にマッピングしたデータベース群である。 そうしたデータとともにC、PHP、Javaその他いくつかの言語を使ってデータベースにアクセスするためのLGPLライセンスのAPIも用意されている。 fluentdでSSHログ
nginxのログをLTSV形式で出力して、fluentd経由でMongoDBに保存する - Qiita
nginxのlog_formatを忘れないところにメモっておきたかったのでメモ。 nginx設定 nginx.confのhttpコンテキスト内にLTSV形式のログフォーマット定義を行う。$time_iso8601などの変数はnginx http_core_moduleのEmbedded Variablesを参照して適当に設定しています。 /etc/nginx/conf.d/log_format.confとして分離したファイルで設定して、nginx.conf内でconf.d/*.confを読み込むようにする。 log_format ltsv 'time:$time_iso8601\t' 'remote_addr:$remote_addr\t' 'request_method:$request_method\t' 'request_length:$request_length\t' 'requ
Logging of Rails in Lograge - Qiita
ログはアプリケーションの開発中はもちろん、運用でもとても大切な情報です。 Rails の標準機能のロギングではアクセスログやエラーログなど様々な情報が混在しています。 ログはアクセスログ・業務ログや正常系・異常系など関心事を分離して設計することが大切です。 今回はアクセスログに注目したログの入門編としてサンプルを作成しました。 Rails はスケールアウトを構成することがあるのでログは Fluentd で集めて 全文検索機能がある Elasticsearch などに登録するとよいですね。 Environment Ruby: v2.2.3 Rails: v4.2.5 Elasticsearch: v2.1.1 Fluentd: v0.12.16 Simple Authentication まず、ログのサンプルに単純な認証のWabアプリケーションを作ります。 Setup rails new の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RubyConf 2014 - Build the Unified Logging Layer with Fluentd and Ruby by Kiyoto Tamura
構造化ロギング | Cloud Logging | Google Cloud
https://www.fluentd.org/doc/
https://www.fluentd.org/doc/index.html
http://fluentd.org/doc/index.html