LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数｜复旦邱锡鹏团队出品只需微调一下，大模型支持上下文大小就能从1.6万tokens延长至100万？！还是在只有70...
LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数｜复旦邱锡鹏团队出品
只需微调一下，大模型支持上下文大小就能从1.6万tokens延长至100万？！
还是在只有70亿参数的LLaMA 2上。
要知道，即使是当前最火的Claude 2和GPT-4，支持上下文长度也不过10万和3.2万，超出这个范围大模型就会开始胡言乱语、记不住东西。
现在，一项来自复旦大学和上海人工智能实验室的新研究，不仅找到了让一系列大模型提升上下文窗口长度的方法，还发掘出了其中的规律。
按照这个规律，只需调整1个超参数，就能确保输出效果的同时，稳定提升大模型外推性能。
外推性，指大模型输入长度超过预训练文本长度时，输出表现变化情况。如果外推能力不好，输入长度一旦超过预训练文本长度，大模型就会“胡言乱语”。
所以，它究竟能提升哪些大模型的外推能力，又是如何做到的？
大模型外推能力提升“机关”
这种提升大模型外推能力的方法，和Transformer架构中名叫位置编码的模块有关。
事实上，单纯的注意力机制（Attention）模块无法区分不同位置的token，例如“我吃苹果”和“苹果吃我”在它眼里没有差异。
因此需要加入位置编码，来让它理解词序信息，从而真正读懂一句话的含义。
目前的Transformer位置编码方法，有绝对位置编码（将位置信息融入到输入）、相对位置编码（将位置信息写入attention分数计算）和旋转位置编码几种。其中，最火热的要属旋转位置编码，也就是RoPE了。
RoPE通过绝对位置编码的形式，实现了相对位置编码的效果，但与相对位置编码相比，又能更好地提升大模型的外推潜力。
如何进一步激发采用RoPE位置编码的大模型的外推能力，也成为了最近不少研究的新方向。
这些研究，又主要分为限制注意力和调整旋转角两大流派 网页链接
转载请注明：LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数｜复旦邱锡鹏团队出品只需微调一下，大模型支持上下文大小就能从1.6万tokens延长至100万？！还是在只有70... | AI 時.空 | AiTime.Space