エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
8-bit最適化アルゴリズム公開した - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
8-bit最適化アルゴリズム公開した - Qiita
今月、FaceBookは新しい最適化アルゴリズム公開した、GPUの利用をせっすれると述べる。 インストール co... 今月、FaceBookは新しい最適化アルゴリズム公開した、GPUの利用をせっすれると述べる。 インストール conda list | grep cudatoolkitかnvcc -V 例えば、君のcudaのバージョンは11.1、 pip install bitsandbytes-cuda111 使用 import bitsandbytes as bnb # adam = torch.optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.995)) # comment out old optimizer adam = bnb.optim.Adam8bit(model.parameters(), lr=0.001, betas=(0.9, 0.995)) # add bnb optimizer adam = bnb.optim.Adam(