所有基准测试都优于Llama 2 13B，最好的7B模型来了，免费用在 Llama 2 系列模型发布后的这几个月里，各大公司机构也在不断推出自家产品。近日，一家法国人工智能...
所有基准测试都优于Llama 2 13B，最好的7B模型来了，免费用
在 Llama 2 系列模型发布后的这几个月里，各大公司机构也在不断推出自家产品。
近日，一家法国人工智能初创公司 Mistral AI 发布了一款新模型 Mistral 7B，其在每个基准测试中，都优于 Llama 2 13B，并且在代码、数学和推理方面也优于 LLaMA 1 34B。
Mistral AI 联合创始人兼首席科学家 Guillaume Lample 也在推特上宣布了这一好消息。
在其官方博客中，他们表示，「这是迄今为止最好的 7B 模型，Apache 2.0。」
具体而言，Mistral 7B 具体参数量为 7.3B：
在所有基准测试中均优于 Llama 2 13B；在多个基准测试中优于 Llama 1 34B；代码性能接近 CodeLlama 7B，同时对英语任务非常擅长；使用分组查询注意力（GQA，Grouped-query attention）来加快推理速度；使用滑动窗口注意力（SWA，Sliding Window Attention）以较小的成本处理较长的序列。
值得一提的是，Mistral 7B 是在 Apache 2.0 许可下发布的，这是一种高度宽松的方案，除了归属之外，对使用或复制没有任何限制。这意味着该模型可以被业余爱好者、价值数十亿美元的公司等使用，只要他们拥有能够在本地运行该模型的系统或愿意支付必要的云资源费用。
下载完以后可以在任何地方使用（包括本地）；使用 vLLM 推理服务器和 skypilot 将其部署在任何云 (AWS/GCP/Azure) 上；可以在 HuggingFace 上使用它。
用户还可以在不同任务上对 Mistral 7B 进行微调。网页链接
版权声明： 发表于 2023-09-30 7:12:41。
转载请注明：所有基准测试都优于Llama 2 13B，最好的7B模型来了，免费用在 Llama 2 系列模型发布后的这几个月里，各大公司机构也在不断推出自家产品。近日，一家法国人工智能... | AI 時.空 | AiTime.Space
转载请注明：所有基准测试都优于Llama 2 13B，最好的7B模型来了，免费用在 Llama 2 系列模型发布后的这几个月里，各大公司机构也在不断推出自家产品。近日，一家法国人工智能... | AI 時.空 | AiTime.Space
暂无评论...