BitNetLLMの罠(学習に失敗した話)｜shi3z

こないだ試した1bitllmが割と上手く行ってるようなのと、あまり日本語が下手なのでとりあえずファインチューニングでもするかと思ってやってみたらハマって数日無駄にしたという話。 BitNetは、よく知られているように推論と学習で動きを変えないといけない。 ところが1bitllmの実装では、そこいらへんが僕が前にやったBitLinearの実験で使ったコードとは微妙に違ったのでメモがてらご報告。 結論から言うと、一度でもoptimizer.step()すると勾配が爆発して死ぬ それを確かめるために、便利なTRLを捨てて生実装を書いた。 from torch.utils.data import DataLoader,Dataset import copy class CompletionDataset(Dataset): def __init__(self, data): self.data =

[isrc]

最近H100のカードが市場に出回り始めてきているが、少し様子見した方がいいかもしれない。割高(大体550万円くらい。定価の二倍)だし、最低1000万は用意しないと入り口にすら立てない