D進します - still deeper
tl;dr 2014年10月から東京大学大学院 情報理工学研究科 電子情報学専攻 博士後期課程に進学します。 今後の予定 軸足は博士課程に置きますが、当面のところは現職は稼働を減らして続けることになっています。 求人 現職で元々人手不足感があったところに、私の手も減ってしまうので絶賛求人中です。 今どきのキラキラしたオフィスなどはないですが、今回の進学のような個人の都合もちゃんと話を聞いてもらえるので、大変働きやすい職場だと思っています。 wantedlyから応募して頂いても私に直接声をかけて頂いても構いません。興味のある方は是非話をしにきて下さい。 スケールアウトの最新情報 - Wantedly
SQL感覚でHiveQLを書くと痛い目にあう例 - still deeper
Hadoop Advent Calendar 2013 4日目の記事です tl;dr explainとjob historyを読め 1 reducerは悪 data skewは悪 前書き みんな大好きSQLでHadoop上での処理を実行できるHiveにはみなさん普段からお世話になっていることでしょう。ちょっと調べ物でググる度に目に入る愛らいしいマスコットが、荒んだ心に清涼な風をはこんでくれます。 ですがHiveのクエリ言語はSQLではなくHiveQLですし、実行エンジンもRDBのそれとは全く異なるMapReduceです。SQLのつもりでHiveQLを書いていると地雷を踏んでしまうことがまれによくあります。本エントリでは陥りがちなHiveQLの落とし穴を2つ紹介します。 例1 SELECT count(DISTINCT user_id) FROM access_log SQLに慣れた方であれ
fluentd自身のログにまつわるノウハウ - still deeper
fluentdのログ 流行に敏いみなさまは既にfluentdのクラスタを組まれているかと思います 1 が、fluentd自体のログはどうしてますでしょうか？ サーバーに直接入って確認している？せっかくログアグリゲーターを組んでいるのだから、fluentd自体のログもfluentdで管理しませんか。 fluentdでは以下の様な match を定義しておくと、自身のログをメッセージとして流すようになっています。 <match fluent.**> ... </match> 流れてくるメッセージはこんな感じ。 fluent.info: {"message":"force flushing buffered events"} fluent.warn: {"message":"emit transaction failed"} fluent.error: {"message":"forward e
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluent-plugin-event-snifferというプラグインを書いた - still deeper
