最近B站上看到不少关于利用deepseek模型搭建私有知识问答库的视频,讲的都很好,不过在我实际去操作时,还是遇到很多问题,花了两天时间才一一搞定,在此分享一下,方便大家避坑,如果
最近B站上看到不少关于利用deepseek模型搭建私有知识问答库的视频,讲的都很好,不过在我实际去操作时,还是遇到很多问题,花了两天时间才一一搞定,在此分享一下,方便大家避坑,如果有其他问题也欢迎发在文章评论区中一起讨论。 关于整个搭建流程,在此我就不详细展示,大家也可以看完他们的视频再尝试去搭建一下,如果遇到问题,再回头看看这篇文章看能不能找到答案,本篇文章我们着重讲一下我遇到的问题和解决办法: 搭建的主要步骤如下: 1. 下载ollama 安装 BTY:上面步骤中需要下载3个东西, ollama exe安装包,ragFlow 源码工程以及docker desktop docker desktop 大家登录官网就可以下载到, ollama安装包和ragFlow 源码工程在我分享的资源,《搭建私有AIGC知识问答域 ollama0+ragflow-main》,百度网盘下载地址如下:
《搭建私有AIGC知识问答域 ollama0+ragflow-main》 下面说一下注意点: 1. 第1步大家在安装完ollama后,需要到系统环境变量中添加两个变量OLLAMA_HOST 值 0.0.0.0:11434 OLLAMA_MODELS 值 E:\ollama\modules 其中 OLLAMA_MODELS 值大家可以自己定义到空间较大的一个盘符,主要是避免后期如果下载模型比较大,将默认安装的C盘撑满,在配置好这两个环境变量后需要重启一下电脑,原因是B站一个小姐姐分享时说,如果此时不重启,等下载完模型,以后再重启的话,之前下载的模型会随风消逝,这点我没试过,既然能避免,就没必要浪费时间去体验了,我就照做了。这样我们上面1,2 两步就完成了 2. 第3步 “在cmd中 运行命令 ollama run deepseek-r1:1.5b”大家可以登录ollama 官网 Ollama 选择模型进行下载,现在deepseek 模型恰好就在第一位,如果不在搜索一下即可。 ollama run deepseek-r1:1.5b 关于这条命令大家可以按照上面两幅图步骤操作,选择好模型复制即可。如果大家只是体验一把功能,选择1.5b即可,如果大家财力雄厚,有NVIDIA 显卡,可以挑战一把 671b的模型。 注:我在这步时之前遇到过一个问题,就是执行 ollama run deepseek-r1:1.5b 命令后中途断掉了,但是后续再执行时一直报服务 500错误,解决办法就是将 ollama run deepseek-r1:1.5b 修改为 ollama pull deepseek-r1:1.5b 就可以正常拉取了。后续操作不影响 3. 第4步 “安装docker desktop , 修改国内镜像源”关于这个步骤有两点需要说明: 3.1. 安装docker desktop由于desktop默认是安装在C盘的,但是后面在下载镜像时不出意外很快就会将C盘撑满,一直提示空间不足,在后面步骤要同步的ragFlow镜像就有20多G,所以此处最好在安装docker desktop之前做一下盘符映射,将C盘docker目录映射出去,在cmd中执行如下4条命令: 注:在执行命令之前要先建立其他盘符对应的目录, 此时C盘中也不能存在docker对应的目录,如果以前已经安装过,需要先保存备份数据,再卸载 docker desktop , 将C盘对应的下面4个docker 目录删除,再执行
执行命令之后C盘中对应的docker目录就会变成快捷方式图标 3.2. 镜像源:如果大家会科学上网,可以跳过此步骤,在编写文章时,下面国内镜像源还是可以使用的:
将上面镜像源配置到docker desktop 中,要满足json语法格式,点击应用重启docker desktop,如下图: 4. 第5步 “下载ragFlow 源码工程”4.1 在下载好ragFlow 源码工程后需要修改配置文件配置文件目录: ragflow-main\docker\.env 4.1.1 会科学上网:打开87行,注释掉84行, 87会自动下载包含embedding 模型的库, 84行则下载简化库。 4.1.2 不会科学上网注释掉84行,87行, 打开 115行和122行, 第115行时国内华为镜像 5. 第7 步执行命令行5.1 执行此命令行之前需要打开 docker desktop5.2 保存镜像的磁盘空间要大于25G我遇到的问题就是报空间不足,修改了很多目录还是又问题,最后通过3.1 中的方式才将问题解决。 在工程根目录执行:docker compose -f docker/docker-compose.yml up -d 执行完以上步骤如果没报错的话,就可以在浏览器中访问 localhost:80 了 在进入ragFlow 界面后进行用户注册,加载deepseek 模型,具体步骤可以先参考B站视频,后面有啥问题,还会继续分享。 6. 在聊天中问题长时间没响应经过几天的尝试,这个问题最终解决,不是任何软件问题,是硬件问题,把以前16G内存缓存32G的就解决了,图片如下: 注:修改docker desktop 占用内存方法,进入 C:\Users\{自己用户名} 新建一个文件 .wslconfig ,内容添加 [wsl2] 最后记得重启docker desktop
最大token数,如果硬件不强悍的话,写的小一点比如512,写多了会很慢。 |
2022-04-23
2023-04-23
2024-04-08
2024-11-15
2022-10-16