Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog

テクノロジーカテゴリーの変更を依頼記事元:

tech-blog.abeja.asia

32 usersがブックマークコメント

コメント

1

記事へのコメント1件

注目コメント
新着コメント

misshiki “Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。”

自然言語処理

2024/04/22 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog

こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー... こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の

ブックマークしたユーザー

macro15972024/04/23
dhesusan46492024/04/22
misshiki2024/04/22
ray-prorsum2024/04/22
toshikish2024/04/21
hajimechan03232024/04/21
yuiseki2024/04/21
taomon2024/04/21
jack09092024/04/21
knok2024/04/21
jamalen2024/04/21
kutakutatriangle2024/04/21
naoki04232024/04/21
produced678common2024/04/20
ZAORIKU2024/04/20
nikkie-ftnext2024/04/20
triceratoppo2024/04/20
ryoma-k2024/04/20

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx