GPT-4的14倍!百川智能发布192K最长上下文大模型,10项评测7项SOTA让大模型一口气处理35万个汉字,百川智能最新Baichuan2-192K大模型发布。192K为目前全球最长的...

贴文 1个月前
1.9K 0

GPT-4的14倍!百川智能发布192K最长上下文大模型,10项评测7项SOTA

让大模型一口气处理35万个汉字,百川智能最新Baichuan2-192K大模型发布。

192K为目前全球最长的上下文窗口,是目前支持长上下文窗口最优秀大模型Claude2(支持100K上下文窗口,实测约8万字)的 4.4倍,更是 GPT-4(支持32K上下文窗口,实测约 2.5万字)的14倍。

Baichuan2-192K不仅在上下文窗口长度上超越Claude2,在长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现也全面领先Claude2。

今年9月25日,百川智能已开放了Baichuan2的API接口,正式进军企业级市场,开启商业化进程。此次Baichuan2-192K将以API调用和私有化部署的方式提供给企业用户,目前百川智能已经启动Baichuan2-192K的API内测,开放给法律、媒体、金融等行业的核心合作伙伴。

10项长文本评测7项取得SOTA,全面领先Claude2

上下文窗口长度是大模型的核心技术之一,通过更大的上下文窗口,模型能够结合更多上下文内容获得更丰富的语义信息,更好的捕捉上下文的相关性、消除歧义,进而更加准确、流畅的生成内容,提升模型能力。

Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10项中英文长文本问答、摘要的评测集上表现优异,有7项取得SOTA,显著超过其他长窗口模型。

此外,LongEval的评测结果显示,在窗口长度超过100K后Baichuan2-192K依然能够保持非常强劲的性能,而其他开源或者商用模型在窗口增长后效果都出现了近乎直线下降的情况。Claude2也不例外,在窗口长度超过80K后整体效果下降非常严重。由此可见,Baichuan2-192K的长窗口内容记忆和理解能力大幅领先其他模型 网页链接

暂无评论

暂无评论...