返回顶部
分享到

国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)

相关技巧 来源:互联网 作者:佚名 发布时间:2025-03-13 20:56:19 人浏览
摘要

最近B站上看到不少关于利用deepseek模型搭建私有知识问答库的视频,讲的都很好,不过在我实际去操作时,还是遇到很多问题,花了两天时间才一一搞定,在此分享一下,方便大家避坑,如果

最近B站上看到不少关于利用deepseek模型搭建私有知识问答库的视频,讲的都很好,不过在我实际去操作时,还是遇到很多问题,花了两天时间才一一搞定,在此分享一下,方便大家避坑,如果有其他问题也欢迎发在文章评论区中一起讨论。

关于整个搭建流程,在此我就不详细展示,大家也可以看完他们的视频再尝试去搭建一下,如果遇到问题,再回头看看这篇文章看能不能找到答案,本篇文章我们着重讲一下我遇到的问题和解决办法:

搭建的主要步骤如下:

1. 下载ollama 安装
2. OLLAMA_HOST 0.0.0.0:11434  OLLAMA_MODELS  E:\ollama\modules ,重启电脑
3. 在cmd中 运行命令ollama run deepseek-r1:1.5b
4. 安装docker desktop  , 修改国内镜像源
5. 下载ragFlow 源码工程
6. 进入源码工程,修改配置文件 ragflow-main\docker\.env 注释掉84行,打开115和122行注释
7. 在ragFlow 源码工程 根目录执行命令 docker compose -f docker/docker-compose.yml up -d
8. 浏览器中访问 localhost:80 

BTY:上面步骤中需要下载3个东西, ollama exe安装包,ragFlow 源码工程以及docker desktop

docker desktop 大家登录官网就可以下载到, ollama安装包和ragFlow 源码工程在我分享的资源,《搭建私有AIGC知识问答域 ollama0+ragflow-main》,百度网盘下载地址如下:

链接: https://pan.baidu.com/s/114iqfr1mq4FE2RK_b0bO8w?pwd=285r

提取码: 285r 

《搭建私有AIGC知识问答域 ollama0+ragflow-main》

下面说一下注意点:

1. 第1步大家在安装完ollama后,需要到系统环境变量中添加两个变量

OLLAMA_HOST   值       0.0.0.0:11434

OLLAMA_MODELS  值      E:\ollama\modules

其中 OLLAMA_MODELS 值大家可以自己定义到空间较大的一个盘符,主要是避免后期如果下载模型比较大,将默认安装的C盘撑满,在配置好这两个环境变量后需要重启一下电脑,原因是B站一个小姐姐分享时说,如果此时不重启,等下载完模型,以后再重启的话,之前下载的模型会随风消逝,这点我没试过,既然能避免,就没必要浪费时间去体验了,我就照做了。这样我们上面1,2 两步就完成了

2. 第3步 “在cmd中 运行命令 ollama run deepseek-r1:1.5b”

大家可以登录ollama 官网 Ollama

选择模型进行下载,现在deepseek 模型恰好就在第一位,如果不在搜索一下即可。

ollama run deepseek-r1:1.5b 关于这条命令大家可以按照上面两幅图步骤操作,选择好模型复制即可。如果大家只是体验一把功能,选择1.5b即可,如果大家财力雄厚,有NVIDIA 显卡,可以挑战一把 671b的模型。

注:我在这步时之前遇到过一个问题,就是执行 ollama run deepseek-r1:1.5b 命令后中途断掉了,但是后续再执行时一直报服务 500错误,解决办法就是将 ollama run deepseek-r1:1.5b 修改为 ollama pull deepseek-r1:1.5b 就可以正常拉取了。后续操作不影响

3. 第4步 “安装docker desktop  , 修改国内镜像源”

关于这个步骤有两点需要说明:

3.1. 安装docker desktop

由于desktop默认是安装在C盘的,但是后面在下载镜像时不出意外很快就会将C盘撑满,一直提示空间不足,在后面步骤要同步的ragFlow镜像就有20多G,所以此处最好在安装docker desktop之前做一下盘符映射,将C盘docker目录映射出去,在cmd中执行如下4条命令:

注:在执行命令之前要先建立其他盘符对应的目录, 此时C盘中也不能存在docker对应的目录,如果以前已经安装过,需要先保存备份数据,再卸载 docker desktop , 将C盘对应的下面4个docker 目录删除,再执行

mklink /j "C:\Program Files\Docker" "F:\myDocker\Docker"
mklink /j "C:\Users\Administrator\AppData\Local\Docker" "F:\myDocker\Docker\Local"
mklink /j "C:\Users\Administrator\AppData\Roaming\Docker" "F:\myDocker\Docker\Roaming\Docker"
mklink /j "C:\Users\Administrator\AppData\Roaming\Docker Desktop" "F:\myDocker\Docker\Roaming\Docker Desktop"

执行命令之后C盘中对应的docker目录就会变成快捷方式图标

3.2. 镜像源:

如果大家会科学上网,可以跳过此步骤,在编写文章时,下面国内镜像源还是可以使用的:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

"registry-mirrors": [

    "https://hub.rat.dev",

    "https://docker.m.daocloud.io",

    "https://docker.1panel.live/",

    "https://docker.hpcloud.cloud",

    "https://docker.m.daocloud.io",

    "https://docker.unsee.tech",

    "https://docker.1panel.live",

    "http://mirrors.ustc.edu.cn",

    "https://docker.chenby.cn",

    "http://mirror.azure.cn",

    "https://dockerpull.org",

    "https://dockerhub.icu",

    "https://hub.rat.dev"

  ]

将上面镜像源配置到docker desktop 中,要满足json语法格式,点击应用重启docker desktop,如下图:

4. 第5步  “下载ragFlow 源码工程”

4.1 在下载好ragFlow 源码工程后需要修改配置文件

配置文件目录: ragflow-main\docker\.env

4.1.1 会科学上网:

打开87行,注释掉84行, 87会自动下载包含embedding 模型的库, 84行则下载简化库。

4.1.2 不会科学上网

注释掉84行,87行, 打开 115行和122行, 第115行时国内华为镜像

5. 第7 步执行命令行

5.1 执行此命令行之前需要打开 docker desktop

5.2  保存镜像的磁盘空间要大于25G

我遇到的问题就是报空间不足,修改了很多目录还是又问题,最后通过3.1 中的方式才将问题解决。

在工程根目录执行:docker compose -f docker/docker-compose.yml up -d

执行完以上步骤如果没报错的话,就可以在浏览器中访问 localhost:80 了

在进入ragFlow 界面后进行用户注册,加载deepseek 模型,具体步骤可以先参考B站视频,后面有啥问题,还会继续分享。

6. 在聊天中问题长时间没响应

经过几天的尝试,这个问题最终解决,不是任何软件问题,是硬件问题,把以前16G内存缓存32G的就解决了,图片如下:

注:修改docker desktop 占用内存方法,进入 C:\Users\{自己用户名}

新建一个文件 .wslconfig ,内容添加

[wsl2]
memory=16GB 

最后记得重启docker desktop

补充一下:在添加LLM时,我的基础URL 填的是 http://host.docker.internal:11434

 最大token数,如果硬件不强悍的话,写的小一点比如512,写多了会很慢。


版权声明 : 本文内容来源于互联网或用户自行发布贡献,该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权, 违法违规的内容, 请发送邮件至2530232025#qq.cn(#换@)举报,一经查实,本站将立刻删除。
原文链接 :
相关文章
  • 本站所有内容来源于互联网或用户自行发布,本站仅提供信息存储空间服务,不拥有版权,不承担法律责任。如有侵犯您的权益,请您联系站长处理!
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计