使用 AutoGPTQ 和 transformers 让大语言模型更轻量化大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消...
使用 AutoGPTQ 和 transformers 让大语言模型更轻量化
大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。
🤗 Hugging Face 的核心使命是 让优秀的机器学习普惠化 ，而这正包括了尽可能地让所有人都能够使用上大模型。本着 与 bitsandbytes 合作 一样的精神，我们将 AutoGPTQ 代码库集成到了 Transformers 中，让用户使用 GPTQ 算法 (Frantar et al. 2023) 在 8 位、4 位、3 位，甚至是 2 位精度下量化和运行模型成为可能。当使用 int4 量化时，精度的下降可以忽略不计，同时在小批量推理上保持着与 fp16 基线相当的速度。 需要注意的是，GPTQ 方法与 bitsandbytes 提出的训练后量化方法有所不同: 它需要在量化阶段提供一个校准数据集。
本次集成支持英伟达 GPU 和基于 RoCm 的 AMD GPU。网页链接
版权声明： 发表于 2023-08-27 8:26:26。
转载请注明：使用 AutoGPTQ 和 transformers 让大语言模型更轻量化大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消... | AI 時.空 | AiTime.Space
转载请注明：使用 AutoGPTQ 和 transformers 让大语言模型更轻量化大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消... | AI 時.空 | AiTime.Space
暂无评论...