6K star! 100%本地运行LLM的AI助手AI套壳千千万万,你最喜欢哪一款?现在各种ChatGPT替代品层出不穷,但是大部分都是使用OpenAI的API,也就说离不开网络。今天我...

贴文 1个月前
450 0

6K star! 100%本地运行LLM的AI助手

AI套壳千千万万,你最喜欢哪一款?现在各种ChatGPT替代品层出不穷,但是大部分都是使用OpenAI的API,也就说离不开网络。

今天我们推荐的开源项目它就是要帮你100%在本地运行大模型,进而构建一个属于自己的ChatGPT,本项目目前在GitHub已超过6K Star,它就是:Jan。

Jan是什么?
Jan 是一个开源 ChatGPT 替代品,可以在您的计算机上 100% 离线运行。

Jan支持从 PC 到多 GPU 集群的各种类型环境,以下是Jan支持运行环境类型:

Nvidia GPU(快速)
Apple M 系列(快速)
苹果英特尔
Linux Debian
Windows x64

下面是它的GitHub star历史,进入2024年,Jan就像坐上了火箭,一下子就起飞了。

为什么用 Jan
对比与同类产品,我们整理了一下Jan具备的特点:

支持广泛:支持各种开源的LLM(GGUF ,TensorRT)
跨平台支持:Windows、Mac、Linux,并通过Llama.cpp使用GPU加速。从本质上讲,Jan 是一个跨平台、本地优先的 AI 原生框架,可用于构建任何东西。在开发中Jan努力遵循 Clean Architecture,努力去构建一个跨平台的应用。

本地数据存储:数据存在本地,没有安全风险,并可以导出和迁移。
提供本地API server,可以快速提供本地服务。
支持扩展,可以自己开发扩 网页链接

暂无评论

暂无评论...