OpenCALM-7BをLoRAでFine tuningして対話ができるようにする｜masuidrive

暮らしカテゴリーの変更を依頼記事元:

note.com/masuidrive

33 usersがブックマークコメント

コメント

3

記事へのコメント3件

注目コメント
新着コメント

tockri めっちゃ助かる

2023/05/26 リンク

eagleyama “何かに使うためにはそのタスクを含んだデータセットでFine tuningしてタスクを覚えてもらう必要があります

2023/05/26 リンク

at_yasu あとで読む

2023/05/25 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

OpenCALM-7BをLoRAでFine tuningして対話ができるようにする｜masuidrive

ちょっと出遅れたけど、サイバーエージェントが出したGPT-NeoXベースのLLM、OpenCALM-7BをGoogle Colab... ちょっと出遅れたけど、サイバーエージェントが出したGPT-NeoXベースのLLM、OpenCALM-7BをGoogle Colab上でLoRA使ってFine tuningをしてみました。とりあえず対話を試したい人masuidrive/open-calm-instruct-lora-20230525-r4-alpha16-batch32-epoch1 に1 epoch回したLoRAを置いておきます。 Google Colabで試したい人はV100やA100のハイメモリで動かしてください。OpenCALM-7Bのshardが10GB単位なため、12GBの標準メモリでは動きません。transf ormersのloaderがもう少し賢ければ、T4の標準メモリでも動くと思うんだけど・・・なぜFine tuningをするのかOpenCALM-7Bは基礎モデルなので日本語やWikiPediaの内容など

ブックマークしたユーザー

roogh5eeSha62024/01/27
tasukuchan2023/07/04
NotEqual2023/06/18
deejayroka2023/06/16
Nyoho2023/06/02
tkos-rg2023/05/27
sgr3962023/05/27
tockri2023/05/26
muryan_tap32023/05/26
eagleyama2023/05/26
y_tag2023/05/26
BlueSkyDetector2023/05/26
kybernetes2023/05/26
patrasan2023/05/25
knok2023/05/25
hiroujin2023/05/25
sucrose2023/05/25
einherjar2023/05/25

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - 暮らし

いま人気の記事 - 暮らしをもっと読む

新着記事 - 暮らし

新着記事 - 暮らしをもっと読む

設定を変更しましたx