エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
注目! 国産LLM「LLM-jp」を ELYZAタスク100 で検証してみた - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
注目! 国産LLM「LLM-jp」を ELYZAタスク100 で検証してみた - Qiita
はじめに NII(国立情報学研究所)が開発した13B(130億)パラメータモデルの精度を、日本語instructionモデ... はじめに NII(国立情報学研究所)が開発した13B(130億)パラメータモデルの精度を、日本語instructionモデル評価データセットである ELYZA-tasks-100 からピックアップトして検証してみました。 検証環境 Googleコラボ Pro+ で A100 環境を使用しました。13Bのモデルをローカル環境で動かすため、A100のリソースが必要です。 なお、パラメータは、max_new_tokens=100、 top_p=0.95、temperature=0.7で実施しています。 検証結果 ELYZA-tasks-100の先頭から7項目を抽出してLLM-jp(llm-jp-13b-instruct-full-jaster-v1.0)の出力をみてみました。また、参考までにELYZA(elyza-japanese-Llama-2-7b-instruct)とGPT4(gpt4-0