無線 LAN の通信品質を見える化する話 - Technology of DeNA
これは DeNA Advent Calendar 2018 その2 の 7 日目の記事です。 こんにちは、IT 基盤部ネットワークグループの寺増です。 ネットワークグループでは、各サービスを提供している DC ネットワークの他、DeNA グループ全体のオフィスネットワークの管理・運用も行っています。 今回は、中でも日々重要性が増している無線 LAN の特徴と、それを安定的に運用するための通信品質観測の仕組みについて、本社ヒカリエを例に紹介します。 目次 はじめに 無線 LAN とは 有線 LAN との違い オフィスの無線 LAN と家庭の無線 LAN オフィスの無線 LAN で発生する様々な事象 無線 LAN の通信観測の仕組み リスト生成 データ収集 データ集計 データ蓄積／可視化 まとめ はじめに 1. 無線 LAN とは 無線 LAN とは、国際標準規格 IEEE802.11 で定義
2017年12月7日 「Fluentd v1.0」がリリース、マルチプロセス、Windowsサポート、700以上のプラグイン | gihyo.jp
Linux Daily Topics 2017年12月7日「Fluentd v1.0」がリリース、マルチプロセス、Windowsサポート、700以上のプラグイン 12月6日（米国時間）、米テキサス州オースティンで開催中の「KubeCon + CloudNativeCon」（主催: The Linux Foundation）の会場において「Fluentd v1.0」がリリースされた。米Treasure DataのファウンダーでFluentdの開発者である古橋貞之氏も自身のTwitterでv1.0のローンチを明らかにしている。 Fluentd v1.0 - Cloud Native Computing Foundation Did you see so many amazing news from Fluentd...!? Fluentd 1.0 is released! #CloudN
FluentdでS3にログを収集してみる | DevelopersIO
こんにちは、坂巻です。 今回は、ログ収集に関するエントリです。 AWSでログ収集といえば、CloudWatch Logsが挙げられますが、 今回はオープンソースのログ収集管理ツールFluentdを使用してみたいと思います。 最終的には他サービスを使用して、収集したログの可視化や分析してみたいと思いますが、 本エントリではS3にログが出力されるまでをゴールとします。 目次 構成 構築 AWS環境 Fluentdインストール Fluentd設定 ログ確認 さいごに 構成 以下のシンプルな構成です。 構築 AWS AWS環境の構築はCloudFormationのテンプレートを用意したので割愛します。 上記テンプレートを利用してAWS環境を構築する際は、 スタックのパラメータに以下を設定してください。 KeyPairName…EC2インスタンスにログインするキーペアを指定します。 S3Bucket
Datadog Log ManagementでNginxのエラーを監視する - Kaizen Platform 開発者ブログ
SRE Group Managerをしている前田 (@glidenote)です。 弊社では先日監視システムを刷新し、Datadogを全サーバに導入し、今年3月にDatadogから正式リリースされたDatadog Log Managementを利用しNginxのエラー監視をするようにしました。今回はその件について紹介します。 TL;DR Datadog Log Managementを利用して、Nginxのエラーを監視するようにした とりあえずLogを送っておいて、グラフを作ったり、後から必要な形に加工するという運用が簡単に出来るようになった 正式リリース間もないので、まだまだな部分があるが、手軽にログ監視が出来るので今後の機能拡張が楽しみ 前提 以前から弊社では、 Fluentdを利用して計10数億行/dayの各種ログを処理 NginxのログはFluentdを利用して、BigQueryとSe
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 2016/06/03(金)のAWS Summit Tokyo 2016でクックパッド株式会社の星さんが「秒間数万のログをいい感じにするアーキテクチャ」という発表をされました。 クックパッドのログ収集基盤が Fluentd や Amazon Kinesis Streams や Redshift を活用していい感じするアーキテクチャが参考になった方は非常に多いと思います(あの規模のサービスに関わるかはともかく)。 発表の中でKinesis Producer Library(以下 KPL)を使ってログ数多すぎ問題を解決したことが語られていました。 個人的には、Kinesis Streams のシャード数を増やせばどうにかなるレベルのサービスしか担当したことがない
MicroAdのデータ基盤 - MicroAd Developers Blog
こんにちは。インフラエンジニアの@kanga333です。 最近マイクロアドではデータ基盤を刷新しました。 今回はデータ基盤の刷新に至る背景と新基盤での設計ポイントについてざっくり書いていきたいと思います。 刷新に至る背景 マイクロアドを長年支えてきた既存データ基盤は長年の改修の結果、色々な課題を抱えていました。 データの転送がNFS, Fluentd, Kafkaなど機能毎に色々な方法で行われており、共通基盤的な部分にもかかわらず共通化ができていませんでした。 Hadoopクラスタはサービス毎に立ち上がっていました。クラスタのバージョンは更新できておらず、運用コストが膨らんでいました。 クラスタが分散しているので、データサイエンティストが新しい環境にデータを集める際に、どこににデータがあるのか各担当者にヒアリングする必要がありました。 そして、そこに第一回の記事でも触れているようにDWHの
Check! はじめての Fluentd 〜 IAMロールで Amazon EC2 と S3 間をセキュアに - Qiita
Check! はじめての Fluentd 〜 IAMロールで Amazon EC2 と S3 間をセキュアにAWSFluentdEC2IAM こんにちは、[cloudpack][] の @dz_ こと[大平かづみ][]です。 Prologue - はじめに 今回は、Fluentd から Amazon S3 へのログを送ってみます。 S3 への出力は、デフォルトで out_s3 プラグインが用意されています。セキュアな通信にするには、Credentials ( aws_key_id と aws_sec_key ) を設定すればよいのですが、設定ファイルに Creadentials を記載するのは、セキュリティやメンテナンスの点で不便です。 そこで、AWSが提供する AWS IAM の機能を利用して、Amazon EC2 インスタンスと Amazon S3 の通信を制限し、上記を実現してみたい
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ
Norikraで遊んでみた - Qiita
Norikraも0.1になり、この内容もかなり古くなりました。 Norikra0.1にあわせて新しく書き直しているので下記内容をご参照ください！ Norikra 0.1を使ってみた Norikraで遊んでみた。 RubyKaigiで@tagomorisさんが発表していたNorkraをとりあえず手元で動かしてみた。すごく簡単に説明するとFluentdみたいなデータストリームをSQLライクな言語でごにょごにょできるものである。 NorikraのスライドはSlideShareにあるので是非見ておこう。 Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi この記事はおそらく一瞬で古くなると思うが、環境は次のような感じだ。 product version
fluentdとKibanaでSSHアクセス元マップ - Qiita
大学外にポートが空いている研究室のサーバに対して，不正なSSHのアクセスが結構来ています． 今回は以下のステップで，不正アクセス元の国をKibana mapで可視化してみました． fluentdでSSHのログから不正アクセスのIPアドレスを解析 GeoIPを使ってIPアドレスから国を特定 Elasticsearchにログを収集 Kibanaのmap panelを使って可視化 GeoIPとは サイトアクセス者の位置情報を取得するGeoIP | SourceForge.JP Magazineより引用． GeoIPとは、IPアドレスを国、都市、インターネットサービスプロバイダ(ISP)にマッピングしたデータベース群である。 そうしたデータとともにC、PHP、Javaその他いくつかの言語を使ってデータベースにアクセスするためのLGPLライセンスのAPIも用意されている。 fluentdでSSHログ
nginxのログをLTSV形式で出力して、fluentd経由でMongoDBに保存する - Qiita
nginxのlog_formatを忘れないところにメモっておきたかったのでメモ。 nginx設定 nginx.confのhttpコンテキスト内にLTSV形式のログフォーマット定義を行う。$time_iso8601などの変数はnginx http_core_moduleのEmbedded Variablesを参照して適当に設定しています。 /etc/nginx/conf.d/log_format.confとして分離したファイルで設定して、nginx.conf内でconf.d/*.confを読み込むようにする。 log_format ltsv 'time:$time_iso8601\t' 'remote_addr:$remote_addr\t' 'request_method:$request_method\t' 'request_length:$request_length\t' 'requ
Logging of Rails in Lograge - Qiita
ログはアプリケーションの開発中はもちろん、運用でもとても大切な情報です。 Rails の標準機能のロギングではアクセスログやエラーログなど様々な情報が混在しています。 ログはアクセスログ・業務ログや正常系・異常系など関心事を分離して設計することが大切です。 今回はアクセスログに注目したログの入門編としてサンプルを作成しました。 Rails はスケールアウトを構成することがあるのでログは Fluentd で集めて 全文検索機能がある Elasticsearch などに登録するとよいですね。 Environment Ruby: v2.2.3 Rails: v4.2.5 Elasticsearch: v2.1.1 Fluentd: v0.12.16 Simple Authentication まず、ログのサンプルに単純な認証のWabアプリケーションを作ります。 Setup rails new の
WindowsのCPU使用率/空きメモリ量ログを fluentd で転送して、GrowthForecastでグラフ化 - Qiita
WindowsのCPU使用率/空きメモリ量ログを fluentd で転送して、GrowthForecastでグラフ化RubyWindowsFluentdgrowthforecast 0.前書き WindowsのCPU使用率/空きメモリ量のログを、fluentd で転送し、GrowthForecastでグラフ化します。 Windowsの監視におけるfluentdのユースケースとしてはフォワーダーとしてnxlogを使うパターンが紹介されています。 http://docs.fluentd.org/ja/articles/windows が、 ここではあえてfluentdのWindowsブランチを使って直接fluentdがログを読み、そのままGrowthforを使うことにチャレンジしてみます 。 目指す構成はこんな感じ。 CPU使用率/空きメモリ量の取得には、Windowsに標準添付されている t
Google Data Studio で BigQuery ログを可視化してディレクターのデータ依頼から解き放たれる - Qiita
この記事は「エムスリー Advent Calendar 2016」の 10日目の記事です 今年の5月に無償版が提供されている Google Data Studio ですが、使った人たちのコメントを見ているとドキュメントを読まなくても、いきなり使えるというメリットがあったものの、SQLを書けないというデメリットがあって、 他の無料ツールの Re:dash (無料だとサーバーが必要)の方がデータ分析的に使えるかなと思っていました。 しかし、最近この記事を読んでいて、逆に SQLクエリを書かなくて良い ということが (ディレクターに丸投げできるという意味で) 最大の魅力ということに気づきました。ということで、 Google Data Studio を使うことで、ディレクターがよく見たい指標ランキングTOPに挙がるであろうユーザーのアクセスログを可視化したので、ログ収集部分からまるっと解説します。
td-agent(Fluentd)をバージョン指定でインストールする - Qiita
$ rpm -qi td-agent Name : td-agent Version : 1.1.21 Release : 0 Architecture: x86_64 Install Date: 2014年10月31日 02時12分37秒 Group : System Environment/Daemons Size : 103551538 License : APL2 Signature : DSA/SHA1, 2014年10月20日 13時07分39秒, Key ID 1093db45a12e206f Source RPM : td-agent-1.1.21-0.src.rpm Build Date : 2014年10月20日 08時31分13秒 Build Host : ip-10-123-31-198.ec2.internal Relocations : (not relocat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
構造化ロギング | Cloud Logging | Google Cloud
https://www.fluentd.org/doc/
https://www.fluentd.org/doc/index.html
http://fluentd.org/doc/index.html
FluentdでRuby DSLを使う - Qiita
