OpenAI新模型研发遇挫，稀疏性是大模型降本的钥匙吗？大模型的训练与运行成本极其高昂，OpenAI 也尝试过降低成本，只可惜失败了。去年年底，当 ChatGPT 引起全球...
OpenAI新模型研发遇挫，稀疏性是大模型降本的钥匙吗？
大模型的训练与运行成本极其高昂，OpenAI 也尝试过降低成本，只可惜失败了。
去年年底，当 ChatGPT 引起全球轰动时，OpenAI 的工程师开始研究一种新的人工智能模型，代号为 Arrakis。Arrakis 旨在让 OpenAI 能够以更低的成本运行聊天机器人。
但据知情人士透露：2023 年年中，OpenAI 已经取消了 Arrakis 的发布，因为该模型的运行效率没有公司预期的那么高。
这次失败意味着 OpenAI 失去了宝贵的时间，并需要将资源转移到开发不同的模型上。
对合作投资来说，Arrakis 的研发计划对于两家公司完成 100 亿美元投资和产品交易的谈判非常有价值。据一位知情的微软员工透露，Arrakis 的失败让微软的一些高管感到失望。
更重要的是，Arrakis 的失败预示着人工智能的未来发展可能会充满难以预测的陷阱。
Arrakis 是个什么样的模型？
知情人士称，OpenAI 希望 Arrakis 是一个与 GPT-4 性能相当，且运行效率更高的模型。Arrakis 模型用到的关键方法是利用稀疏性。
稀疏性是谷歌等其他人工智能开发商也公开讨论并使用的机器学习概念。谷歌高管 Jeff Dean 曾表示：「稀疏计算将成为未来的一个重要趋势。」
OpenAI 很早就开始了关于稀疏性的研究，早在 2017 年他们就推出了稀疏计算内核。Arrakis 本来可以让 OpenAI 更广泛地推广其技术，因为该公司可以使用数量有限的专用服务器芯片来为其软件提供支持。
当前，增加稀疏性的一种常见方法是借助「混合专家系统（MoE）」技术。然而，加州大学伯克利分校计算机科学教授 Ion Stoica 曾表示：「一般来说，专家模型的数量越多，模型就越稀疏，效率也越高，但可能会导致模型生成的结果不太准确。」网页链接
转载请注明：OpenAI新模型研发遇挫，稀疏性是大模型降本的钥匙吗？大模型的训练与运行成本极其高昂，OpenAI 也尝试过降低成本，只可惜失败了。去年年底，当 ChatGPT 引起全球... | AI 時.空 | AiTime.Space