Facebook Sentiment Analysis - What is Facebook Saying about Nintendo?Gregory Zapata
Facebook Sentiment Analysis - What is Facebook Saying about Nintendo?Gregory Zapata
Twilio(トゥイリオ)という話題の電話APIサービスをご存じでしょうか。 これをFluentdに組み込むプラグイン「fluent-plugin-twilio」を作成・公開しました。 Boundioという電話APIサービスが廃止となり、行き場を失っていた方にも朗報です。 fluent-plugin-twilio https://github.com/y-ken/fluent-plugin-twilio Fluentd Output plugin to make a call with twilio. Twilioとは Web APIを利用し、電話を掛けたり、受けることの出来るサービスです。 TwiMLというXML言語を用い、大変自由度の高い動作を定義することが出来ます。 文字列として渡した漢字を含む日本語から、音声合成をして読み上げる機能も備わっています。 Twilioの料金(2013年
※同じ資料は speakerdeck にも置いてあります https://speakerdeck.com/toritori0318/chef-solokaraitamaeniwan-quan-yi-xing-sitahua-plus itamae meetup vol1で話したスライドです
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない・・・ようにも見える。今日はその辺から少し紹介していこうかなと思う。
おそらくはそれさえも平凡な日々: もにかじでオレオレ監視ツールについて話してきました GrowthForecast.plで自分ロギングしてみた - by edvakf in hatena の記事のように、FluentdやGrowthForecastを使ったロギングって面白そうだなーと思って自分でもやってみた。 アプリケーション毎のアクティブな時間を取る まず考えたのはこれ。キーイベント発火回数ほど細かくなくても、「アクティブにしている時間の割合」が取れたらそれはそれで良いかな、と。 1秒ごとにアクティブなアプリを調べてロギングしていく。Mac OS Xにおいてアクティブなアプリケーションを調べるならAppleScriptが簡単。 name of (info for (path to frontmost application)) これだけでアクティブにしているアプリケーション名が取れる。
fluentdというソフトウェアがある。読者の多くは聞いたこともないソフトウェアだろう。そりゃそうだ。AndroidとかiOSとかWindowsのように、消費者の目に毎日さらされるものとは違い、日夜静かにデータセンターで動いているソフトウェアだ。 このfluentdは、もともと古橋貞之くんが、自分がはじめた会社のサービスの一部で必要となり書いたものだが、この1年半ほどで瞬く間に広まり、今では日本中のウェブサービスで導入されている。どのくらい広まっているのかと言うと、もし読者が今日 はてブをチェックしたり クックパッドでレシピを探したり NAVERまとめを見てゲラゲラ笑ったり GREEのサービスで遊んだり ライブドアニュースで蒼井優の動向を探ったり1 したなら、どこかでfluentdの恩恵を受けているということになる。 ちなみにこの古橋くん、ゆとり世代のダメダメなピチピチな25歳の若者で、ど
id:stanaka がはてなで使って居るログフォーマットが LTSV だよーとブログに書く Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog Web界隈のエンジニアたち、特にログとか、#fluentd 関係者がざわつく 「ざわ・・・ざわ・・・」 @t_wada 「Unix 哲学の大事な点が形になっていると思う。素晴らしい。」 @hotchpotch 「cool」 六本木、渋谷、白金台方面から京都へ熱い視線が送られる id:naoya がただ vagrant + chef を使いたいがために LTSV に乗っかる GrowthForecast を使っていたため GF の中の人が反応する @kazeburo 「[growthforecast]」 id:naoya が勢いで Text::LTSV を作る あまり反応がないのでしょ
ウィークリーFluentdユースケースに参加して、fluent-plugin-dstatの紹介記事を書きたいと思います。 dstatはnetstatやiostatなどをまとめたようなツールで、こんな感じで同じタイムフレームでのマシンのリソース情報がとれます。 どんなオプションがあるかについては公式を見てください。 yumとかで入れると古いバージョンが入ったりしますが、最新版は7.2で、使えるプラグインが増えてたりします。 主に top-xxx-adv 系が増えています。 どういうものかというと、例えば古いバージョンでもある top-cpu はこのようにCPU利用率の高いプロセスを表示してくれますが、 top-cpu-advだとさらに細かい情報がとれるのと、ちゃんとプロセス名、利用率など項目がわかれているので、fluentのプラグインとしてjsonの形式にしやすいのです。 dst
FluentdをWindowsで動かそうとして挫折しなかった記録。その1 WindowsでFluentdを動かそうとして調べていった記録のメモです。 きちんとまとめていないので起こった順に書いています。 同じような事を試みて挫折した人が居たので、この意思を勝手に引き継いで3秒以上頑張ってみました。 概要としては、fluentdのRuby実装、Python実装(fluenpy)、fluent-agent-liteのPerl実装とF#実装を確認した事と、Windowsでのファイル処理の排他制御について分かったことをまとめています。Windowsのファイルについては別の記事でまとめる事にして、この記事では簡単に触れる程度にします。 まずOriginalのFluentd。Ruby実装なのでWindowsのRubyかJRubyで動くかなとも思っていたのですが、Cool.ioというライブラリに依存して
ウィークリーFluentdユースケースエントリリレーの記事です。 「1つのログから複数のメトリクスを得る」という目的主眼の記事です。 各プラグインの仕様や紹介していないオプションについては、他の方が書かれる記事や、作者様のブログやGitHubをご参照ください。 WEBのレスポンスタイムをグラフ化する fluentd casual talks で、fujiwaraさんが発表されたfluentdでWebサイト運用を楽にするがきっかけで、WEBのレスポンスタイムを可視化し始めた方、多いと思います。 (かなり極端な例ですが)こんなふうにグラフが出ることによって、「14:30頃からレスポンスが著しく悪くなっている!」ということが見て取れるようになります。 これによって"14:30から遅い応答が増え始めた"ということはわかるようになるのですが、「じゃあどこが遅いの?」となって結局生のログを漁ったりする
Fluentd meetup in Japan #2 #fluentd on Zusaar ふらふらとお気楽に参加してきた。当方ささやかながらプラグインを作ったりしているので、他のひとがどのように使っているか、どのようなプラグインが他の人によって使われているか、あたりにたいへん興味があったので、そういう話をかなり聞けたのがすばらしく有益だった。主催者の方々、スタッフの方々、会場提供のグリーの方々、ありがとうございました。 以下だらだらとセッションごとに感想めいたものを書く。 「Fluentdの現在と未来」by @frsyuki 会場のFluentd利用者率が6割だか7割だかでびびる。本当に? みたいな。あと日本語ドキュメントなんていらんかったんやー、俺達は間違ってなかったんやー、と安心したりする。*1 Fluentd次期バージョンの話、じつはこれをメインで聞きにいったけど、既にTwitte
Fluentd meetup in Japan #2 #fluentd on Zusaarに参加中の@fukataです。 弊社で作成している広告配信エンジン部分のログ収集にfluentdの使用を検討しています。現在の配信エンジンはc + luaで構成されています。そこで、luaからfluentdに書き込みたかったのでモジュールを作成(修正)したので、fluent-logger-luaについて書きたいと思います。 ちなみにFluentd meetup in Japan #2の会場からリリース記事書いています。 fluent-logger-luaは既にfluent.logger_luaがあったので、本人に許可を頂いて、ほぼ同等コードにエラー周りのコードを追加したものをngigroup-developer/fluent-logger-luaとして公開しました。 msgpackのモジュールがfor
Fluentdのデータをネットワーク経由で転送するための組み込みプラグイン out_forward には最適化のための設定がいろいろあるが、内部構造への理解がないとなかなか意味がわからなかったりするものも多い。ので、あんまりいじってる人はいないんじゃないかという気がする。 最近複数の転送先へのロードバランスを out_roundrobin ベースの方法から out_forward の機能を使った方法に切り替えてみたので、ついでにそのあたりについて書いてみる。 (おまけ) out_roundrobin と out_forward(のロードバランス)の違い out_roundrobin は event stream の emit つまりFluentd内部における最小の配送処理単位ごとに配送先プラグイン(のインスタンス)を切り替える。可能な限り細かい単位で配送先をバラけさせたいときはこちらを使う
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く