MIT華人提出SmoothQuant量化,記憶體需求降一半,速度提升1.56倍
最近,麻省理工學院和英偉達的研究人員聯合提出了一個通用後訓練的量化(GPQ, general-purpose post-training quantization)方案SmoothQuant,對大型語言模型可以高效實現8-bit權重,8-b...
最近,麻省理工學院和英偉達的研究人員聯合提出了一個通用後訓練的量化(GPQ, general-purpose post-training quantization)方案SmoothQuant,對大型語言模型可以高效實現8-bit權重,8-b...