エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Stable Vicuna13Bをgoogle colab freeで動かしてみた
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Stable Vicuna13Bをgoogle colab freeで動かしてみた
Stable Vicunaとは Vicuna 13Bと言うLLMモデル(versionはv0)をさらに細かく指示で微調整し、RLHFで学... Stable Vicunaとは Vicuna 13Bと言うLLMモデル(versionはv0)をさらに細かく指示で微調整し、RLHFで学習させたバージョンで、細かく命令調整したものです。Vicuna13B自身はLLaMa(MetaAI)の13BモデルをShareGPTから得られたユーザー同士の会話を利用してfinetuningされたモデルになっています。 Stable Vicunaについては以下のStability AIの記事が詳しいです。 前提 Stable Vicuna 13Bモデルを実際に試そうとすると26GBの重みを読み込んで、GPU runtimeに載せないといけないために30GBメモリ程度のCPUと30GBメモリ程度のGPU(もしくは複数台)必要になります。今回はGoogle colabのfree枠で利用できるようにするために4bit化したものを利用して動かしてみたいと思います