【インターンレポート】量子化による大規模言語モデル軽量化の効果測定

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog この度、LINEの技術職 就業型コースのインターンシップに参加させていただきました、お茶の水女子大学修士課程1年の佐藤杏奈と申します。 インターンシップではNLP Platform Devチームに所属し、量子化による大規模言語モデル（LLM）の軽量化について検証を行いました。本レポートではその成果について、ご報告いたします。 0. 大規模言語モデルの量子化とは 量子化とは、重みなどのパラメータをより少ないビットで表現することで、モデルの軽量化、高速化を図る手法の一つです。 昨今活躍する大規模な言語モデルの多くは数十億、数百億以上のパラメータを持っており、これらの訓練には通常、多くのGPUで数ヶ月と、膨大なコストが必要になります

[sh19910711]

"Hopperアーキテクチャ: H100に搭載されている第4世代のTensorコアは今までのGPUにはない8bit浮動小数点（FP8）の演算をサポート / HuggingFaceのAccelerate: Transformer Engineが統合されたライブラリ + 混合精度FP8のモデルに切り替え" 2023