grep の「バイナリファイル (標準入力) に一致しました」が出る条件を調べていたらそれは長い旅路の始まりだった。

はじめに 昨今では1行につき、1つの JSON を出力する様なログファイル形式も珍しくはありません。 grep しやすい データベース化しやすい これらの理由で各所で多く使われています。僕も仕事で普通に使っているのですが、ある日突然そのログファイルを集計するスクリプトで以下の様なエラーが出始めました。

[mattn]

書いた。

[teramako]

思えば遠くまで来たものだ……。（内容が想像とはかけ離れたものだった。追っかけ能力すごい

[yubiquita]

「よっちゃんいか」のたとえがわからん

[fa11enprince]

面白い内容でした( ^ω^ )stdbufなんてあったのか。関係ないけどlogrotateはいつも初回は空振りすることを忘れかける。

[raimon49]

あたりの付け方がすごい。

[odenshirataki]

”原因は >> にしてなかった”

[fumikony]

こんな罠が、、

[hiboma]

おもしろい (調査おつかれさまです

[w1234567]

logrotateは罠が多いよね

[programmablekinoko]

オープンソースのありがたみよ

[kiraf]

よっちゃんイカなんていう商品はないんだよなぁ

[knok]

最近リリースされたGNU grep 3.5ではバイナリファイルにマッチしたときのメッセージがstderrに出るように変わりました http://savannah.gnu.org/forum/forum.php?forum_id=9820

[perl-o-pal]

先頭がNULで埋まるの、logrotateあるある。shell使いの人とか、かなり気軽にリダイレクトを使うしな。catalina.outとかもそんな感じだったような？

[rryu]

どちらかというとリダイレクトし続けているファイルもlogrotateでローテーションできるんだというか。

[stealthinu]

毛刈り能力すごい。もし自分が調べてたとしてmbrlenのせいというところまでわかってもそっからlogrotateにいけないわ…　なんかいい推理小説の読後感がある。

[Windymelt]

ログ，勉強になることがたくさんある

[richard_raw]

……遠いな！/あれ、ログローテートって言うんですね（無知）

[akulog]

"ログファイルは難しい。logrotate を仕込んだらかならず2日目に確認しろ。以上。"

[iww]

『「エラーを標準出力に吐くなよ！この○○がぁっ！」という気持ちを抑えながら。』

[hogege]

なるほど。運用寄りの仕事長いと、切羽詰まるまで深く調べる気にならない自分…:-( 調べだしちゃうと面白くてほかの作業の時間が取れなくなっちゃう:-P

[n314]

あまり意識してなかったけど問題が起きたことはないな。PHPerだからファイル開きっぱなしということが有り得ないからかも。

[tohokuaiki]

へー。そんなことまで考えたことなかった。

[launcher]

ファイルオフセット、凄い

[i_luv_kneesox]

すごい・・・自分だったら辿り着けない・・・

[nakag0711]

バッファリングと書き込み位置の関係がイマイチよくわからないけど、ゼロで埋まるのは正にsparse fileになってるからでlogrotateがゼロ書いてるわけではないのでは

[mole-studio]

こういうの調べるのって結構楽しいんよなあ。お疲れさまでした。

[dekasasaki]

予想通りであった(ﾄﾞﾔｧ)。面白く読ませて頂きました。

[ElizaAcolyte]

人生で一度くらいはハマリソウだけど、その時に思い出せるかは怪しいな……。

[a-kuma3]

ええ話や。"なんとなく logrotate が怪しいんじゃないかと思い始め" の過程を知りたいところだが、アンテナをくすぐられてる感じがすることはあるもんなあ。

[shoh8]

ぐええ

[yarumato]

“jsonログファイルを集計するスクリプトでエラー。grepが行をバイナリ扱いし、そのメッセージ出力つjqが食った。grepコマンドのソースを確認。ログファイルの先頭に0x00をlogrotateが埋めてた”