基于华为云构建企业级RAG问答服务系统实战指南

背景/问题

随着大语言模型（LLM）的快速普及，企业在构建智能客服、内部知识库等应用时普遍面临三大痛点：一是模型训练数据截止导致知识滞后，无法回答最新业务动态；二是通用模型在面对垂直领域术语时容易产生幻觉，输出缺乏事实依据；三是直接微调（Fine-tuning）成本高昂且迭代周期长。检索增强生成（RAG, Retrieval-Augmented Generation）技术通过将外部专业知识作为上下文注入大模型，有效弥补了上述缺陷，已成为当前企业级AI应用的首选架构。

方案设计

本方案采用标准的RAG流水线架构，整体分为离线索引构建与在线推理两个阶段。离线阶段负责将非结构化文档（PDF/Word/TXT）进行清洗、切块，并调用华为云ModelArts提供的文本Embedding接口生成高维向量，最终存入向量数据库。在线阶段接收用户Query，经相同Embedding模型转化为查询向量，在向量库中执行近似最近邻搜索（ANN）召回相关段落，随后将检索结果与原始问题组装成结构化Prompt，再次调用大模型生成最终答案。该设计实现了知识更新与模型推理解耦，支持热更新知识库。

实现步骤

1. 数据预处理：使用正则表达式去除乱码与无关符号，按固定字符数（如500字）或语义边界进行滑动窗口切块，保留重叠区以维持上下文连贯性。
2. 向量化与入库：批量请求Embedding API，返回浮点数组后写入GaussDB(for MySQL)扩展向量插件或Milvus集群，建立IVF_FLAT索引以提升检索效率。
3. 检索与重组：客户端输入问题后，计算余弦相似度，筛选Score大于阈值的前3个文本块，剔除噪声后拼接至System Prompt模板。
4. 生成与输出：调用大模型ChatCompletion接口，设置Temperature=0.3抑制随机性，返回带引用来源的答案。

代码示例

以下为基于Python的核心RAG逻辑实现，依赖标准库与requests，可直接集成至业务服务：

import requests
import json
import numpy as np

# 模拟配置（实际需替换为华为云AK/SK及Endpoint）
API_KEY = 'your_api_key'
EMBEDDING_URL = 'https://api.example.com/v1/embeddings'
GENERATION_URL = 'https://api.example.com/v1/chat/completions'

def get_embedding(text: str) -> list[float]:
    resp = requests.post(EMBEDDING_URL, headers={'Authorization': f'Bearer {API_KEY}'},
                         json={'input': text, 'model': 'text-embedding-v2'})
    return resp.json()['data'][0]['embedding']

def cosine_similarity(v1: list, v2: list) -> float:
    return float(np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2)))

# 假设已预先入库的向量与文本对
KNOWLEDGE_BASE = [
    {'text': '华为云弹性云服务器ECS支持按需购买和包年包月模式...', 'vec': get_embedding('华为云弹性云服务器ECS')},
    {'text': '对象存储服务OBS提供海量、安全、低成本的云存储能力...', 'vec': get_embedding('对象存储服务OBS')}
]

def rag_query(user_question: str) -> dict:
    query_vec = get_embedding(user_question)
    # 1. 向量检索 Top-1
    scores = [cosine_similarity(query_vec, kb['vec']) for kb in KNOWLEDGE_BASE]
    top_idx = np.argmax(scores)
    retrieved_text = KNOWLEDGE_BASE[top_idx]['text']

    # 2. 构建Prompt
    prompt = '''请根据以下参考资料回答用户问题。若资料不足，请如实告知。
【参考资料】
{retrieved_text}
【用户问题】
{user_question}
【回答要求】
- 保持专业简洁
- 引用资料中的关键数据
'''.format(retrieved_text=retrieved_text, user_question=user_question)
    # 3. 调用生成模型
    gen_resp = requests.post(GENERATION_URL, headers={'Authorization': f'Bearer {API_KEY}'},
                             json={'model': 'pangu-coder-plus', 'messages': [{'role': 'user', 'content': prompt}], 'temperature': 0.2})
    answer = gen_resp.json()['choices'][0]['message']['content']
    return {'query': user_question, 'answer': answer, 'source': retrieved_text[:50]+'...'}

if __name__ == '__main__':
    print(json.dumps(rag_query('华为云提供哪些存储服务？'), ensure_ascii=False, indent=2))

注意事项

在实际生产环境中部署RAG服务，需重点关注以下细节：首先，分块策略直接影响检索精度，建议结合业务术语表进行语义切分，避免关键信息被截断。其次，向量检索存在阈值漂移问题，应引入Hybrid Search（关键词BM25+向量）机制过滤无关内容。第三，大模型调用需做好限流与重试机制，建议使用华为云API网关配置QPS熔断策略，防止突发流量打垮后端。最后，涉及敏感数据的知识库必须开启字段级加密，并在Prompt中增加防注入指令（如“仅基于给定材料回答”），确保输出合规。

总结

RAG架构通过“检索+生成”的双轮驱动，成功打通了私有数据与大模型能力的壁垒。借助华为云全栈AI基础设施，开发者无需从零搭建复杂的数据管道，即可快速构建高可用、易维护的智能问答系统。后续可进一步探索多路召回、Rerank重排序以及Agent自主规划能力，推动企业AI应用向更智能化、场景化方向持续演进。