100万件のLIPS投稿から効率よくコスメ用語辞書を作る方法 - AppBrew Tech Blog

こんにちは、AppBrewで学生アルバイトをしている星野です。普段は特許を対象とした類似文書検索について研究しているコスメ好きの大学院生です。今回は、LIPSの検索機能に使う辞書を効率よく整備したことについてお話します1。 ここでいう辞書とは、一般的な国語辞書のような単語とその意味・用法・内容を含んだものではなく、単純に単語が並んだものを指します。 もし辞書がないと、コンピュータは文を単語にうまく分けられません。 例えば「创建具有用户可重复性和可重复性的产品。」をどう単語に分けられるでしょう2？ これは中国語の文ですが、言語を理解していないと文を単語に分けるのは意外に難しいことと思います。 LIPSには多くのコスメや美容に関するクチコミ投稿文が多数あります。 この投稿文中には新語やくだけた表現だけでなく、コスメ用語が多く使われています。 具体的にコスメ独特な用語とは「クッションファンデーシ

[razokulover]

辞書づくりまじで面倒だが、こういう工夫はどこもやっとるんだな〜

[anoworl]

コスメの語彙力がつきました

[tvxqqqq]

おもしろい。コスメの世界は日々新しい用語出てくるから大変だろうな

[abeshiiiii]

コスメ好きには堪らないお仕事や〜

[yosshi0774]

検索をささえる大切な処理のお話