将LLaMA2上下文扩展至100k，MIT、港中文有了LongLoRA方法一般来说，大模型预训练时文本长度是固定的，如果想要支持更长文本，就需要对模型进行微调。但是训练具...
将LLaMA2上下文扩展至100k，MIT、港中文有了LongLoRA方法
一般来说，大模型预训练时文本长度是固定的，如果想要支持更长文本，就需要对模型进行微调。但是训练具有长上下文的 LLM 计算成本很高，需要大量的训练时间和 GPU 资源。
比如，训练一个具有 8192 长度上下文的模型，相比于 2048 长度上下文，需要 16 倍的计算资源。就算如此，上下文长度对模型性能至关重要，因为它代表了 LLM 回应时对整个上下文清晰理解的能力。
近日，MIT 与香港中文大学联合研究，提出了 LongLoRA。它是一种有效的微调方法，以有限的计算成本扩展了预训练大型语言模型上下文大小。
论文地址：arxiv.org/pdf/2309.12307.pdf
项目地址：github.com/dvlab-research/LongLoRA
本文从两个方面加快了 LLM 的上下文扩展。
一方面，尽管在推理过程中需要密集的全局注意力，但通过稀疏的局部注意力可以有效且高效地对模型进行微调。本文提出的 shift short attention 有效地实现了上下文扩展，节省了大量的计算，与使用 vanilla attention 进行微调的性能相似。
另一方面，用于上下文扩展的 LoRA 在可训练嵌入和归一化的前提下工作得很好。LongLoRA 在 LLaMA2 模型从 7B/13B 到 70B 的各种任务上都展现了很好的结果。在单台 8x A100 设备上，LongLoRA 将 LLaMA2 7B 从 4k 上下文扩展到 100k， LLaMA2 70B 扩展到 32k。LongLoRA 扩展了模型的上下文，同时保留了其原始架构，并与大多数现有技术兼容，如 FlashAttention-2。为使 LongLoRA 实用，研究者收集了一个数据集 LongQA，用于监督微调。该数据集包含超过 3k 个长上下文问题 – 答案对网页链接
转载请注明：将LLaMA2上下文扩展至100k，MIT、港中文有了LongLoRA方法一般来说，大模型预训练时文本长度是固定的，如果想要支持更长文本，就需要对模型进行微调。但是训练具... | AI 時.空 | AiTime.Space