首页 > 科技 >

借助 LM Studio 在 Mac 和 Windows 上轻松运行

发布时间:2023-12-11 15:53:43来源:

ChatGPT、Google Bard和Bing Chat等大型语言模型 (LLM)都在云中运行,这基本上意味着它们在其他人的计算机上运行。不仅如此,它们的运行成本特别高,这就是为什么 ChatGPT 有一个可供您订阅的 Plus 选项。但是,您可以在本地运行许多不同的语言模型,例如 Llama 2,并且借助 LM Studio 的强大功能,您可以轻松在本地运行几乎任何 LLM。

在 Windows 和 Mac 上设置 LM Studio 非常简单,并且两个平台的过程都是相同的。它也应该可以在 Linux 上运行,尽管我们在本教程中不使用它。

LM工作室要求

您只需要一些东西来运行 LM Studio:

配备 macOS 13.6 或更高版本的 Apple Silicon Mac (M1/M2/M3)

具有支持 AVX2 处理器的 Windows/Linux PC(通常是较新的 PC)

建议使用 16GB 以上的 RAM。对于 PC,建议使用 6GB+ VRAM

支持 NVIDIA/AMD GPU

用于下载模型的(可选快速)互联网连接

如果您具备上述条件,那么您就可以开始了。我使用的是带有 16GB VRAM 的 RTX 4080,由于它是最好的显卡之一,因此我的文本生成速度很快。

(责编: BAZHONG)

版权声明:网站作为信息内容发布平台,为非经营性网站,内容为用户上传,不代表本网站立场,不承担任何经济和法律责任。文章内容如涉及侵权请联系及时删除。