基于Ollama在ECS上部署DeepSeek-R1并构建多角色Agent文献综述助手

举报
yd_292731481 发表于 2026/11/06 11:25:43 2026/11/06
【摘要】 记录在华为云ECS上用Ollama部署deepseek-r1:1.5b并构建检索-分析-评估三角色Agent文献综述助手的全过程,重点剖析Ollama默认num_ctx=2048导致长prompt报错的坑与修复方案,附CPU推理性能实测数据。

前言

最近在华为云 KooLabs 完成了「基于DeepSeek搭建Agent智能助手」实验,完整走通了从购买 ECS、部署 Ollama、拉取 DeepSeek-R1 模型,到实现一个"检索→分析→评估"三角色协作的文献综述 Agent 的全流程。过程中踩了不少坑,记录下来希望对同样想在 CPU 环境玩本地大模型的朋友有帮助。

一、环境准备

实验选用按需计费的 ECS:c7.xlarge.2(4核8G),镜像 Ubuntu 22.04,系统盘 40G,绑定弹性公网 IP(100M 带宽)。

为什么是 4C8G?因为本次部署的是 deepseek-r1:1.5b,权重文件约 1.1G,纯 CPU 推理完全够用,不需要 GPU。

安全组注意放通 TCP:22 端口,否则 CloudShell 无法 SSH 连接。

二、安装 Ollama

从 OBS 下载离线安装包(比官方脚本快得多):

wget -O ollama-linux-amd64.zip https://edu-res.hc-cdn.cn/sharedata/...(实验提供的OBS地址)
unzip ollama-linux-amd64.zip
tar -I zstd -xf ollama-linux-amd64.tar.zst -C /usr
chmod +x /usr/bin/ollama

创建专用用户并注册 systemd 服务:

useradd -r -s /bin/false -m -d /usr/share/ollama ollama
cat > /etc/systemd/system/ollama.service << 'EOF'
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target
EOF
systemctl daemon-reload
systemctl enable --now ollama
ollama -v   # 0.6.8

拉取模型:

ollama pull deepseek-r1:1.5b   # 约1.1GB
ollama run deepseek-r1:1.5b "hello"   # 验证推理正常

三、核心坑:num_ctx 上下文溢出

Agent 代码通过 http://localhost:11434/api/generate 调用模型。第一版跑起来立刻报"检索阶段处理失败",但直接 curl 一个短 prompt 却返回 200。

排查思路:检索阶段的 prompt 会把整个文献知识库(约 3300 字)塞进去,而 Ollama 默认的上下文窗口只有 2048 tokens——超长 prompt 直接被拒绝。

修复方式:在请求的 options 里显式扩大上下文:

payload = {
    "model": "deepseek-r1:1.5b",
    "prompt": ...,
    "stream": False,
    "options": {
        "temperature": 0.5,
        "num_predict": 512,
        "seed": 42,
        "num_ctx": 8192      # 关键!默认2048放不下知识库
    }
}

加上 num_ctx: 8192 后 API 立即返回 200。这是一个非常典型的"单测能过、集成报错"的问题,值得记住。

四、多角色 Agent 设计

Agent 与普通对话系统的区别在于:它有角色设定、任务目标和流程编排。本实验用三个角色链式协作:

  1. 检索专家(retriever):接收"文库全文 + 用户问题",负责从知识库中找到相关文献内容;
  2. 分析专家(analyzer):对检索结果进行分析和整合;
  3. 评估专家(evaluator):对整合结果做最终评估和优化。
ROLE_PROMPTS = {
    "retriever": "你是一个检索专家,能够根据问题从文库中找到相关内容。",
    "analyzer": "你是一个分析专家,能够对检索到的内容进行分析和整合。",
    "evaluator": "你是一个评估专家,能够对整合后的内容进行评估和优化。"
}

每一轮对话按 retriever → analyzer → evaluator 顺序执行,上一阶段的输出作为下一阶段的输入,对话历史动态累积。

五、性能实测

在 4C8G 纯 CPU 环境下的实测数据(来自 Ollama 服务日志):

  • prompt 评估:约 33 秒 / 1397 tokens(约 42 tokens/s)
  • 生成速度:约 14 tokens/s
  • 单阶段(num_predict=512):60~90 秒
  • 完整三阶段流程:约 3~5 分钟

所以做 CPU 推理时要有心理预期:小模型能跑,但多角色链式调用的时间成本是单次对话的三倍以上。如果要缩短时间,可以考虑减小 num_predict、精简知识库、或者把检索阶段改为向量检索只传相关片段。

六、后续优化方向

  • 任务拆分:检索阶段可先按问题类型过滤文库子集,减少无关内容;
  • 上下文管理:为每个角色维护独立的状态,避免历史无限膨胀;
  • 反馈回路:评估角色发现问题时可回退到检索阶段重试,形成自我纠错闭环;
  • 知识库升级:静态 txt 换成向量数据库,检索精度和速度都会大幅提升。

总结

整个实验最大的收获有两点:一是理解了 Agent = 角色设定 + 流程编排 + 上下文管理,而不只是一个会聊天的模型;二是踩到了 num_ctx 这个隐蔽的坑——本地部署大模型时,默认参数不一定适合你的数据规模,集成测试一定要用真实数据量去跑。

(实验环境:华为云 ECS c7.xlarge.2 + Ubuntu 22.04 + Ollama 0.6.8 + deepseek-r1:1.5b)

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。