Google N-gram V.S. Baidu N-gram 〜ケータイウェブは本当にエロいのか？〜 - nokunoの日記

近年検索エンジンのBaiduは不自然言語処理コンテストなるものを開催し、今日が締切のはずだったのだが24時間延長されたらしいことを聞いてBaiduコーパスをダウンロードしたid:nokunoは仕事帰りの電車で思いついたアイデアを30分ほどで実装してみたところそれなりに面白い結果がでたので応募してみることにした。そもそもBaiduのコーパスはエロいというのを最初に誰かが言ったら@mhagiwaraさんがこんなツイートをしたことに話は遡る。インターネットがエロいのは誰でも知っている。けれど、ケータイウェブが特別にエロいのか？ については寡聞にして知らなかったため、検証してみることにした。今回はケータイウェブがエロいかどうかを検証するため、以下のコーパス（N-gramデータ）を相互に比較することとした。Baidu N-gram（Baidu絵文字入りモバイルウェブコーパス） 今回のメインターゲット

[yusukem]

baiduの検索撤退でこれを思い出したけ。その後スマホになってモバイル空間のコーパスがどう変化したのかは知りたい。

[mamoruk]

結論的にはやはりおまいらがエロいと

[sucrose]

「ケータイウェブではPCウェブより「エッチ」が5120倍、「アダルト」が384倍多く使われていることがわかった。」

[Utori_Z]

こういう時にプログラミングが理解できればなあ…って思う。

[itochan]

だから青少年のためのフィルタリングは必要なんです！！！

[HeavyFeather]

N-gramとかなつかしーなー。有意なフリーのコーパスって今どのくらいあるのかなぁ

[ttake]

これはエロい

[o_mega]

おもしろいなー

[Cherenkov]

不自然言語処理コンテスト コーパス/ 結論「ケータイウェブはエロい」

[totttte]

ちょｗｗｗ　魔法のiらんどとかでも調べたら、差があるのかな。

[furuichi]

携帯Webはエロい

[mongrelP]

本当にエロくてワロタ

[tomo31415926563]

こういうのの解析ができるようになりたい。

[Naruhodius]

ナルホディウス

[FTTH]

細かいこた判らんが極めておもしょいｗ

[tomity]

エロいと言ったのは俺。この流れ作った俺エロい http://twitter.com/tomity/status/16759869370

[maple_magician]

キーワードクラウド(違)。IMだけじゃなく、けん盤配列にも(それも違う)。