継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development

この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n

[misshiki]

“ドメイン適合のための、継続事前学習を、日本語LLMに対して金融ドメインで実施しました。その結果、金融分野における、性能の向上を確認することができました。”

[nisisinjuku]

金融取引もAIでいけるってはなし？？（デリバティブあたりの話…）荒れそうね。

[megadrive]

PFNさいつよ

[sh19910711]

"金融分野: 一般のLLMでは知識が足りない + GPT-4であっても、2024年4月現在時点では、100点満点には及ばないレベルのスコアしか出せていないタスクも複数存在 / 継続事前学習によるドメイン知識の獲得 + GPU: A100 80GB 4枚"