基于Ollama在ECS上部署DeepSeek-R1并构建多角色Agent文献综述助手
前言
最近在华为云 KooLabs 完成了「基于DeepSeek搭建Agent智能助手」实验,完整走通了从购买 ECS、部署 Ollama、拉取 DeepSeek-R1 模型,到实现一个"检索→分析→评估"三角色协作的文献综述 Agent 的全流程。过程中踩了不少坑,记录下来希望对同样想在 CPU 环境玩本地大模型的朋友有帮助。
一、环境准备
实验选用按需计费的 ECS:c7.xlarge.2(4核8G),镜像 Ubuntu 22.04,系统盘 40G,绑定弹性公网 IP(100M 带宽)。
为什么是 4C8G?因为本次部署的是 deepseek-r1:1.5b,权重文件约 1.1G,纯 CPU 推理完全够用,不需要 GPU。
安全组注意放通 TCP:22 端口,否则 CloudShell 无法 SSH 连接。
二、安装 Ollama
从 OBS 下载离线安装包(比官方脚本快得多):
wget -O ollama-linux-amd64.zip https://edu-res.hc-cdn.cn/sharedata/...(实验提供的OBS地址)
unzip ollama-linux-amd64.zip
tar -I zstd -xf ollama-linux-amd64.tar.zst -C /usr
chmod +x /usr/bin/ollama
创建专用用户并注册 systemd 服务:
useradd -r -s /bin/false -m -d /usr/share/ollama ollama
cat > /etc/systemd/system/ollama.service << 'EOF'
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Restart=always
RestartSec=3
[Install]
WantedBy=default.target
EOF
systemctl daemon-reload
systemctl enable --now ollama
ollama -v # 0.6.8
拉取模型:
ollama pull deepseek-r1:1.5b # 约1.1GB
ollama run deepseek-r1:1.5b "hello" # 验证推理正常
三、核心坑:num_ctx 上下文溢出
Agent 代码通过 http://localhost:11434/api/generate 调用模型。第一版跑起来立刻报"检索阶段处理失败",但直接 curl 一个短 prompt 却返回 200。
排查思路:检索阶段的 prompt 会把整个文献知识库(约 3300 字)塞进去,而 Ollama 默认的上下文窗口只有 2048 tokens——超长 prompt 直接被拒绝。
修复方式:在请求的 options 里显式扩大上下文:
payload = {
"model": "deepseek-r1:1.5b",
"prompt": ...,
"stream": False,
"options": {
"temperature": 0.5,
"num_predict": 512,
"seed": 42,
"num_ctx": 8192 # 关键!默认2048放不下知识库
}
}
加上 num_ctx: 8192 后 API 立即返回 200。这是一个非常典型的"单测能过、集成报错"的问题,值得记住。
四、多角色 Agent 设计
Agent 与普通对话系统的区别在于:它有角色设定、任务目标和流程编排。本实验用三个角色链式协作:
- 检索专家(retriever):接收"文库全文 + 用户问题",负责从知识库中找到相关文献内容;
- 分析专家(analyzer):对检索结果进行分析和整合;
- 评估专家(evaluator):对整合结果做最终评估和优化。
ROLE_PROMPTS = {
"retriever": "你是一个检索专家,能够根据问题从文库中找到相关内容。",
"analyzer": "你是一个分析专家,能够对检索到的内容进行分析和整合。",
"evaluator": "你是一个评估专家,能够对整合后的内容进行评估和优化。"
}
每一轮对话按 retriever → analyzer → evaluator 顺序执行,上一阶段的输出作为下一阶段的输入,对话历史动态累积。
五、性能实测
在 4C8G 纯 CPU 环境下的实测数据(来自 Ollama 服务日志):
- prompt 评估:约 33 秒 / 1397 tokens(约 42 tokens/s)
- 生成速度:约 14 tokens/s
- 单阶段(num_predict=512):60~90 秒
- 完整三阶段流程:约 3~5 分钟
所以做 CPU 推理时要有心理预期:小模型能跑,但多角色链式调用的时间成本是单次对话的三倍以上。如果要缩短时间,可以考虑减小 num_predict、精简知识库、或者把检索阶段改为向量检索只传相关片段。
六、后续优化方向
- 任务拆分:检索阶段可先按问题类型过滤文库子集,减少无关内容;
- 上下文管理:为每个角色维护独立的状态,避免历史无限膨胀;
- 反馈回路:评估角色发现问题时可回退到检索阶段重试,形成自我纠错闭环;
- 知识库升级:静态 txt 换成向量数据库,检索精度和速度都会大幅提升。
总结
整个实验最大的收获有两点:一是理解了 Agent = 角色设定 + 流程编排 + 上下文管理,而不只是一个会聊天的模型;二是踩到了 num_ctx 这个隐蔽的坑——本地部署大模型时,默认参数不一定适合你的数据规模,集成测试一定要用真实数据量去跑。
(实验环境:华为云 ECS c7.xlarge.2 + Ubuntu 22.04 + Ollama 0.6.8 + deepseek-r1:1.5b)
- 点赞
- 收藏
- 关注作者
评论(0)