在电脑上安装一个本地 LLM（大型语言模型）

您可以离线使用它，并保护您的数据隐私。

最重要的是，你可以免费安装！

下面是操作方法：（1/5）

1. 访问 lmstudio(dot)ai 并下载与您的设备兼容的工作室版本。

打开安装文件，在电脑上安装 LM Studio。

2. 安装 LM Studio 后，打开它。

在搜索栏中输入你想使用的 LLM 名称，然后点击 "Go"。
在本教程中，作者将使用 LLaMa，它是 Meta AI 公司的一个开源模型。
在屏幕左侧，你会看到不同版本的 LLaMa。右侧是不同模型的 "量化"。
在 "量化 "一栏的顶部，你会看到一个带有 "Should Work"的复选标记。这表明您的电脑硬件符合该型号的要求。
如果你的硬件不符合特定型号的要求，你就看不到 "Should Work"。
查看了 Falcon，它告诉我运行该机型需要 150GB 以上的内存。

3. 选择要下载的型号和版本。

点击 "下载 "按钮，等待下载完成。
如果您刚开始下载，我建议您下载 10GB 以下的机型。
较大的机型会耗费大量时间下载，并会减慢下载速度。

4. 下载模型后，点击左侧任务栏中的聊天气泡。

点击顶部的栏，加载模型。加载模型后，您可以通过 Advanced Configuration"高级配置 "自定义其 Inference Parameters"推理参数"。

您可以自定义响应的随机性和长度。

5. 现在您可以开始使用该模型了。

在聊天栏中输入您的问题，它会回答。

回复质量： 我使用 LLaMa 2 7B 进行了这次聊天，它一开始就产生了幻觉。看起来，这个模型正在努力，但还不够。

尽管如此，在电脑上安装一个本地聊天机器人仍然非常有用。它当然可以帮助你集思广益，为期刊论文和资助提案创建大纲。