Gunosyにおけるニュース記事の自動要約システム開発 〜ChatGPTの登場を添えて〜 - Gunosyデータ分析ブログ

はじめに 背景とモチベーション ニュースキュレーションサービスとしての自動要約技術の重要性 事前学習済み言語モデルの急速な発展 自動要約モデルの作成 タスク設定 モデル データセット T5 の fine-tune 評価 自動評価 人手評価 推論の高速化 ONNX とモデル量子化 CPU を使用した推論速度と要約精度の評価 API 実装と slack bot 化 API 化 slack bot化 ChatGPT の登場 今後に向けて・おわりに はじめに こんにちは、 Gunosy Tech Lab (GTL) MediaML チームの大竹です。今回のブログでは、社内で運用されているニュース記事の自動要約システムについてご紹介したいと思います。 ニュース記事の本文から簡潔な要約を生成するシステムを作るため、データセットの収集から自動要約モデルの学習、サービスとして利用するための API 実装ま

[misshiki]

“社内で開発・運用されている自動要約のシステムをご紹介”“強いて言えば ChatGPT の方は少し説明的で冗長な要約、今回作成したモデルの方は比較的簡潔な要約を生成する傾向にありました。”

[sh19910711]

"「システムの本体は LLM の外側にある」 / ChatGPT を使うかモデルを内製するかという問題よりはむしろ、要約技術を使ってユーザーにどのような体験を届けるのか・それらをどうデザインするのかという問題が重要"