不是 GPT4 用不起,而是本地运行 Mixtral-8x7B 更有性价比当 GPT4 刚问世时,社区猜测它用了“多少亿个参数”才实现的如此惊人的性能。 但事实证明,GPT4 的创新...

贴文 2个月前
1K 0

不是 GPT4 用不起,而是本地运行 Mixtral-8x7B 更有性价比

当 GPT4 刚问世时,社区猜测它用了“多少亿个参数”才实现的如此惊人的性能。 但事实证明,GPT4 的创新不仅仅是“更多参数”。 它本质上是 8 个 GPT 3.5 模型一起工作。 这些模型中的每一个都针对不同的任务(即“专家”)进行了调整。 这称为“专家组合”(Mixture of Experts,缩写为 MoE)。

输入文本根据内容和所需任务会被分派给 8 个专家模型中的一个。 然后,小组中的其他专家模型会评估结果,从而改进未来的问题的分配。

Mistral AI 的 Mixtral 8x7B 是基于 8 个 Mistral-7B 模型的开源 MoE LLM。 借助 WasmEdge,你可以在任意设备上创建并运行该 LLM 的跨平台应用程序,包括自己的笔记本电脑、边缘设备和服务器。

点击这里查看运行视频。我用视频里的问题问了 GPT 4 和其他开源大模型,目前回答正确的只有 GPT4 和 Mixtral-8x7B.

在自己的设备上运行 Mixtral-8x7B
步骤1:通过以下命令行安装 WasmEdge 网页链接

暂无评论

暂无评论...