エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【AI Shift Advent Calendar 2023】図解!大規模言語モデルにおける 8bit 量子化入門 | 株式会社AI Shift
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【AI Shift Advent Calendar 2023】図解!大規模言語モデルにおける 8bit 量子化入門 | 株式会社AI Shift
TOPTECH BLOG【AI Shift Advent Calendar 2023】図解!大規模言語モデルにおける 8bit 量子化入門 はじ... TOPTECH BLOG【AI Shift Advent Calendar 2023】図解!大規模言語モデルにおける 8bit 量子化入門 はじめに この記事はAI Shift Advent Calendar 2023の19日目の記事です。 こんにちは!AI チームで内定者アルバイトとして働いている長澤です。 昨今、言語モデルを含めたニューラルモデルの大規模化が止まりませんね。 「大きすぎてモデルがメモリに乗らん…」は最早あるあるなお悩みかと思います。 大規模化の流れに伴って、上記の問題を解決する1つの手段として「量子化」というワードをよく耳にするようになりました。 この量子化について、 「とりあえず低ビットにすれば、精度は落ちちゃうけどメモリ消費量抑えられるみたいな話だよね…?」 というボヤッとしたイメージの解像度をあげるベく、Hugging Face ライブラリでの実装を例に取り、量子