Encoder-Decoder でレシピの材料名を正規化する - クックパッド開発者ブログ

研究開発部の原島です。部のマネージメントのかたわら、自然言語処理関連の開発に従事しています。本エントリでは、最近社内で開発した自然言語処理システムを紹介します。 ■ 「しょうゆ」のバリエーションは 100 種類以上 クックパッドで以前から解決したかった課題の一つに材料の名前（以下、材料名）の正規化があります。 クックパッドのレシピは複数の材料から構成され、各材料は名前と分量から構成されています。例えば、上のレシピの一つ目の材料は「豚薄切り肉」が名前で、「200g」が分量です。 さて、この材料名はこのレシピでは「豚薄切り肉」という表現でした。しかし、他のレシピでは「豚うす切り肉」という表現かもしれません。「豚うすぎり肉」や「ぶた薄切り肉」、「豚薄ぎり肉」等の表現もありえますね。 これは異表記同義（いわゆる表記揺れ）の問題ですが、同様の問題は他にも沢山あります。例えば、以下のようなものです。

[june29]

お料理分野での「けっこうな量のデータ」と「それらを活用した便利システム」は他が真似できないので強いアセットだなあ。

[trashcan]

せっかくだけどクックパッドはPersonal BlocklistでGoogle検索から消してる。

[sho]

こういう苦労をするだけの価値がビッグデータには存在する(そしてそれを持っているのはクックパッド社だけ)というところがポイントなんだよね。

[kkobayashi]

面白い話だけど、そもそも材料名をキーワード登録するようにしておけば良かったんじゃないの・・・。重なったらマージできるようにして。

[sannii]

原島さん

[foaran]

“綴り間違い”

[ttanimichi]

名寄せや表記の揺れ関連

[reboot_in]

"Encoder-Decoder は、おおまかには、「入力の情報を何らかのベクトルに集約し、そのベクトルから出力を生成するモデル」です。前半を処理する部分が Encoder で、後半を処理する部分が Decoder です。"

[nilab]

Encoder-Decoder でレシピの材料名を正規化する - クックパッド開発者ブログ

[tyru]

名寄せ 正規化 表記揺れ

[mooz]

「普段の業務をこなすと、正解データが自然と MySQL に蓄積されるよう」素敵。プルリク→Jenkins→Dockerでデプロイも格好いい。

[metamix]

こういうのが基礎研究というやつだよね

[nakag0711]

なんか一番肝心なところが曖昧なような

[fukken]

ショー油としょう油は類似した傾向（例えば使われる料理など）を示すが、しかし同一レシピに両方が出現する事はない、みたいな理屈で、ある種のtf-idfで検出した事がある

[Hiro_macchan]

この技術業務系のシステム統合とかでかなり便利な気がする。事業体ごとに表記が微妙に違うとか多々あるし。

[memoshin]

Autoencoder...!?

[Guro]

うお。こういうの書籍メタデータの世界から先に取り組まれてしかるべき分野なのにな。。

[ron_zacapa]

修論でクックパッドさんからデータをいただき、word2vec, doc2vecで同じことをやっていた。正解データを作るというよりは、「しょうゆ」というベクトルを近似していた。

[lbtmplz]

通常業務で蓄積される仕組みも気になる

[isaisstillalive]

"クックパッドにおける「しょうゆ」には、分かっているだけで、100 種類以上のバリエーションが存在"

[mutinomuti]

関係ちょっとあるかもしれないけど、会社の書籍を整理する際の出版社名の表記ゆれを今日体感して、シネって思った(´･_･`)

[boyasan]

高度だなあ

[mather314]

面白い

[Shinya_131]

なるほど…名寄せ全般に応用できそう。それにしても教師データの準備方法が気になる

[yaboot]

正規化辞書だと「♥しょぉーーーyou♥」とか正規化は無理ですもんね

[fufufukakaka]

パイセンかっこいい

[towerofyone]

あかさたな

[stealthinu]

レシピの材料名の正規化にニューラルネット使った例。色々と応用例があるなと思うが、やはりデータが必要だな…

[hiby]

しょうゆ

[shopetan]

表記揺れの問題 変数や関数の命名も正規化できないかなぁ

[efcl]

表記ゆれをEncoder-Decoderで正規化する。 正解データがそこまで多くない状態で60%>=ぐらい。 正解率を向上するTips

[bohemian916]

キャー原島さーん！/正規化出来ればDish2Vecみたいなことできそう。料理の足し引きや、別の材料を加えた料理のレシピ検索とか。