高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。LINEの小林滉河(@kajyuuen)です。NLPチームで固有表現抽出、有害表現の検知、LINEスタンプ推薦の改善など自然言語処理に関する仕事をしています。 この記事ではLINEが公開した言語モデル「LINE DistilBERT」について紹介します。 https://huggingface.co/line-corporation/line-distilbert-base-japanese https://github.com/line/LINE-DistilBERT-Japanese LINE DistilBERTは次のような特徴を持つ日本語言語モデルです。 高性能・高速・軽量 Hugging Faceのtra

[shunkeen]

“蒸留をBERTに適用したものがDistilBERT”／AIの民主化加速し過ぎ。いいぞ、もっとやれ。これはモデルだけど、各種LLMの日本語蒸留モデルを作って格安APIを出せば、商売として勝てそう。ガラパゴスと揶揄されようとも。

[kajyuuen]

id:cpw 独自のトークナイザーを使用している都合上、 Hugging Faceのデモは利用できない状況になっています。ご迷惑をおかけしてすいません。普通に使用する分には問題なく動くかと思います！

[misshiki]

“LINE DistilBERTは次のような特徴を持つ日本語言語モデルです。 高性能・高速・軽量、 Hugging Faceのtransformersから簡単に利用可能、 商用利用可能なApache License 2.0でのモデル配布”

[cpw]

どんなアウトプットになるのか見ようかとhugging face見てみたけど、エラーになって動かなかった

[diabah_blue]

ライセンスがよい。

[gengohouse]

“高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました”