一、准备工作

在正式开始之前，你需要准备以下内容：

一台配置还不错的电脑（建议至少有独立显卡，内存 16GB 以上，显存越高越好, 没有独立显卡也没关系）。稳定的网络环境（下载模型文件时很重要）。一点点耐心，毕竟我们要部署的是大模型，可能会花点时间。

二、安装 Ollama

我们使用的软件是 Ollama，它是一个非常方便的本地大模型运行工具。

1. 下载 Ollama

• 官网地址：Download Ollama on macOS
• 打开官网后，根据你的操作系统选择对应的版本进行下载（Windows、Mac、Linux 都支持）。

2. 安装 Ollama

• 下载完成后，双击安装包进行安装。
• 安装过程非常简单，一路点击“下一步”即可。
• 默认情况下，Ollama 会安装到 C 盘，建议不要修改安装路径，直接按默认设置安装。

3. 检查安装是否成功

• 打开命令行（Windows 用户可以按 Win + R，输入 cmd，然后回车）。
• 输入以下命令，检查 Ollama 是否成功安装：

• 如果显示版本号，说明安装成功！

三、拉取大模型（DeepSeek）

接下来，我们需要通过 Ollama 下载 DeepSeek 模型。这一步需要用到命令行，别担心，我会一步步教你操作。

1. 打开命令行

• 同样，按 Win + R，输入 cmd，然后回车。

2. 下载模型

以下是不同版本模型的下载命令，你可以根据自己的需求选择合适的版本：

• 1.5B Qwen DeepSeek R1

• 7B Qwen DeepSeek R1

• 8B Llama DeepSeek R1

• 14B Qwen DeepSeek R1

• 32B Qwen DeepSeek R1

• 70B Llama DeepSeek R1

3. 测试下载

• 为了测试效果，建议先下载一个较小的模型，比如 1.5B 或 7B(我选择的7B测试 1.5不行)。
• 下载过程中如果网速过慢，可以按 CTRL + C 中断，然后重新运行命令。

4. 等待下载完成

• 下载完成后，模型会自动安装到本地。
• 安装完成后，你可以通过命令行直接提问，测试模型的效果！

四、测试模型效果

下载完成后，我们来测试一下模型是否正常运行。

2. 注意事项

• 如果使用的是较大的模型（比如 32B 或 70B），可能会占用大量的 GPU 和 CPU 资源，建议根据电脑配置选择合适的模型。

五、安装客户端工具（AnythingLLM）

虽然命令行可以用来提问，但操作起来并不方便。为了更好的使用体验，我们可以安装一个客户端工具 AnythingLLM。

1. 下载 AnythingLLM

• 官网地址：Download AnythingLLM for Desktop
• 下载完成后，双击安装包进行安装。

Download AnythingLLM for Desktop

2. 配置 Ollama 模型

• 打开 AnythingLLM，进入设置页面。
• 选择本地 Ollama 模型方式，软件会自动识别你之前下载的 DeepSeek 模型。

安装完成之后打开软件 找到设置 选择本地Ollama模型方式

他会自动识别本地Ollama下载的大模型

3. 创建工作区

• 回到主界面，随便起一个名字创建工作区。
• 这样就可以开始提问啦！界面和互联网的聊天软件差不多，使用体验非常流畅。

（请合理的选择大模型的参数，防止电脑带不动的情况 出现卡死宕机）

检测AI回答效果

支持问题询问 链接上传 图片上传 无限次数上传文档 和图片！

推理性问题

例如：“如果今天是星期一，五天后是星期几？”这类问题可以测试AI的逻辑推理能力。

DeepSeek回答：

解释性问题

• 例如：“请解释一下相对论的基本概念。”这类问题可以评估AI的解释能力和深度。

DeepSeek回答：

等等 具体的使用看你自己

这样你就成功的把DeepSeek部署到本地电脑啦

六、上传本地知识库

如果你有自己的文档或者资料，可以将它们上传到模型中，方便模型回答与你的资料相关的问题。

1. 上传文档

• 在客户端中找到“知识库”功能。
• 点击上传，将本地的文档（如 PDF、Word）上传到知识库中。

然后上传本地的文档

2. 保存知识库

• 上传完成后，记得点击保存。
• 这样模型就可以根据你的知识库内容进行回答了！

七、总结与建议

到这里，你已经成功完成了 DeepSeek 模型的本地部署！以下是一些小建议：

• 合理选择模型参数：如果你的电脑配置一般，建议使用较小的模型（比如 7B 或 8B），避免出现卡死或宕机的情况。
• 定期清理缓存：大模型会占用较多的存储空间，建议定期清理不需要的模型文件。
• 多测试多尝试：通过不断测试不同类型的问题，熟悉模型的能力和限制。