1800亿参数，世界顶级开源大模型Falcon官宣！碾压LLaMA 2，性能直逼GPT-4一经发布，地表最强开源模型Falcon 180B直接霸榜HF。3.5万亿token训练，性能直接碾压LLa...
1800亿参数，世界顶级开源大模型Falcon官宣！碾压LLaMA 2，性能直逼GPT-4
一经发布，地表最强开源模型Falcon 180B直接霸榜HF。3.5万亿token训练，性能直接碾压LLaMA 2。
一夜之间，世界最强开源大模型Falcon 180B引爆全网！
1800亿参数，Falcon在3.5万亿token完成训练，直接登顶HuggingFace排行榜。
基准测试中，Falcon 180B在推理、编码、熟练度和知识测试各种任务中，一举击败LLaMA 2。
甚至，Falcon 180B能够与谷歌PaLM 2不差上下，性能直逼GPT-4。
不过，英伟达高级科学家Jim Fan对此表示质疑，
– Falcon-180B的训练数据中，代码只占5%。
而代码是迄今为止对提高推理能力、掌握工具使用和增强AI智能体最有用的数据。事实上，GPT-3.5是在Codex的基础上进行微调的。
– 没有编码基准数据。
没有代码能力，就不能声称「优于GPT-3.5」或「接近GPT-4」。它本应是预训练配方中不可或缺的一部分，而不是事后的微调。
**- 对于参数大于30B的语言模型，是时候采用混合专家系统（MoE）了。**到目前为止，我们只看到OSS MoE LLM < 10B。
一起来看看，Falcon 180B究竟是什么来头？
世界最强开源大模型
此前，Falcon已经推出了三种模型大小，分别是1.3B、7.5B、40B。
版权声明： 发表于 2023-09-10 9:19:12。
转载请注明：1800亿参数，世界顶级开源大模型Falcon官宣！碾压LLaMA 2，性能直逼GPT-4一经发布，地表最强开源模型Falcon 180B直接霸榜HF。3.5万亿token训练，性能直接碾压LLa... | AI 時.空 | AiTime.Space
转载请注明：1800亿参数，世界顶级开源大模型Falcon官宣！碾压LLaMA 2，性能直逼GPT-4一经发布，地表最强开源模型Falcon 180B直接霸榜HF。3.5万亿token训练，性能直接碾压LLa... | AI 時.空 | AiTime.Space
暂无评论...