AWS Athena雑感 - Go ahead!
Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる． 実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，Airbnb，Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので，拡張性，パフォーマンス，安定性で選ばれたのだろうと思われる．あとAWS的にJavaの方が相性は良さそう． パフォーマンス いくつかの記事で言及されている． Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon
Fluentdとログ収集のパターン - Go ahead!
「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず． ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に． クライアントから直接保存する いきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末
Change The Game - Go ahead!
知ってる人はもう知っているとは思いますが，10月をもって1年と10ヶ月勤めた謎のベンチャーPreferred Infrastructure, Incを去りました．PFIの方々，本当に有り難うございました！ エントリを書けと色々な人に脅されているので，てきとうに書きます． 環境 インターンで飛び込み，そのテンションのまま大学を辞めて入社．俺みたいな機械学習や情報検索の基礎すらなかった人間が，今では機械学習プロジェクトで開発をやっていたわけですから，岡野原さんを筆頭に本当濃い社員の人達には感謝しかありません． 学習の高速道路という言葉がありますが，間違いなく超高速，時には事故るんじゃないかという環境でした．右を見ても左を見ても怪物だらけであるこの魔窟で，エンジニアとして勤めることが出来たのは本当に良い経験でした． 俺が入社した時は正社員は15人くらいだった気がしますが，今では既に26人で，もう
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
