DMMゲームのログ解析~ログ収集と解析の概要~ - DMM.comラボエンジニアブログ
現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基本KPI機能とゲーム独自のKPI機能を実装するためのフレームワークを開発しましたのでその事例をもとにご紹介します。 ログ収集、解析の概要 まず、オンラインゲームのログ収集の全体像をご紹介します。 オンラインゲームのログ収集ではApacheやnginx、PHPのログをfluentdで収集しています。 fluentdに集めたログをHadoopの分散処理システムに保存し、HiveやImpalaで解析をする流れになっています。 ご存知の方も多いと思いますが、HiveとはHD
grepでログ解析をするなんてひどい話だ | POSTD
今でも、 systemdのjournal におけるバイナリのストレージフォーマットに関して、不満を漏らす人が多くいることに私は驚きを隠せません。私は長年、システム管理者として働いてきており、1年以上も syslog-ng の オープンソースエディションのメンテナ として活動してきました。だからこそ、テキストではないストレージフォーマットに対して、なぜ多くの人が批判的なのか、私は理解に苦しんでいます。更に、反論を唱える人までいることが信じられません。もしかしたら、私は別世界の人間なのかもしれません。ですが、より良い選択肢があるのに、テキストのストレージを使う理由はほとんどありません。ロギングをする必要性、そしてなぜ、テキストのログストレージに対してそこまで用心深いのかについて、私は何度も尋ねられました。ここに、私が導き出した答えを紹介したいと思います。 これは、journalについて弁明する
VPN Gate に対する外国からの妨害活動と対抗策としてのオープンソース化について | 2013-08-23 - 登 大遊＠筑波大学大学院コンピュータサイエンス専攻の SoftEther VPN 日記
筑波大学での研究として VPN Gate プロジェクト http://www.vpngate.net/ を開始してから、間もなく半年になる。現在 VPN Gate は国ごとのユーザー数リアルタイムランキング http://www.vpngate.net/ja/region.aspx で公開されているように、全世界 198 カ国 (特別行政区等の地域を含む) から利用されており、これまでに 1,226 テラバイトのデータ転送があった。ユーザー登録は不要であるが、ユニークユーザー数をユニーク IP アドレス数から推測すると本日時点で 281 万 9,313 人となっており、世界で最も使用されている VPN 中継システムの 1 つとなりつつある。 VPN Gate プロジェクトは、「検閲用ファイアウォール」がある国からの利用が盛んである。検閲用ファイアウォールといえば、アジアのある国が有名である
仕事の見積もりが「理想的」すぎてうまく回らない理由 | シゴタノ！
長期にわたる、大規模で、多くの人間が関わるプロジェクトが、予想の期間内に完了し、予想の予算範囲内に収まることはめったにない。多くの人がこの事実を何度も了解させられているにも関わらず、凝りもせず何度でも「ベストシナリオ」を描く。だとすればその描く心理には、お定まりの法則のようなものがあるにちがいない。 それをダニエル・カーネマンは「外部情報に対する忌避」という観点でまとめている。小規模だろうと大規模だろうと、人は計画を立てる際、客観的データを用いようとしない。統計を無視したがる。「外部の情報などアテにならない」と言う。 その時、人は決まって次のようにいいたがる。「一つ一つのケースはみなちがう」。この言葉は大変強固に信頼されている錯覚である。「一つ一つのケースはみなちがう」から、統計などアテにならない。過去のデータなど意味がない、というのだろう。 TaskChuteを人にすすめるたび、もっとも
ログ解析で楽をする話 #qpstudy でしてきました。
ログ解析というのはインフラエンジニアの基礎の基礎です。アプリケーションが定まればそれなりのログ解析ツールは存在します。Debianのstableですら数十のツールがあります。 とはいえ、実際のログというのは往々にしてアプリケーション毎に全然ちがっているのでツールは役に立ちません。結果としてgrepを駆使したり、はたまたRDBに突っ込んだりして試行錯誤することになります。 見事に解析できたとしても、それを可視化することを考えると楽できることを考えておきたいわけです。 そこで役に立つのはログ解析SaaS．Sumologic, SplunkStorm, Logglyなどけっこうありますが、qpstudyではSumoLogicを紹介してみました。GUIでログを横断的に絞り込めますし、その処理構文はいつでも繰り返すことのできるすぐれものです。 無料で使えるサイズでかなりのことができますので、ちょっと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kibanaでログ分析を1年続けてみたら業務システムの保守と運用が捗った / How&Why I have been leveraging Kibana for DevOps
https://digimaga.net/tabelog-tastes-awful-review/
