BERTによるテキスト分類 - Gunosyデータ分析ブログ

はじめに こんにちはGunosy Tech Labの森本です。グノシーのニュース記事を実験的にBERTでテキスト分類しましたので、その結果を共有します。 BERTはご存知の通りGoogle AIが発表した双方向Transformerであり、Pre-trainingできる特徴があります。自然言語処理の代表的なデータセットを用いたタスクやベンチマークで発表当時複数のstate-of-the-artを記録しました。 arxiv.org 本記事ではテキスト分類に着目して実験を行いました。 テキスト分類は昨今の深層学習の熱気とは別に従来より研究されている分野であり、代表的なライブラリを使用することで実サービス上でも安定度の高い稼働を実現できます。 上図のようにグノシーにはエンタメ、スポーツのような様々なタブがあります。 これらタブにニュース記事を配置するときにテキスト分類が活躍します。 エンタメ、ス

[sh19910711]

2019 / "政治、経済、社会、国際タブ内の誤判定が目立ちますが、そもそもアノテーション自体難しく / 例えば外交系ニュースを政治として扱うか、国際として扱うかはシングルラベルのときアノテーションが難しい"