bit澜的论坛回复_云社区-华为云

什么是RAG？RAG = Retrieval-Augmented Generation（检索增强生成）在让大模型生成回答之前，先从外部知识库中"检索"相关资料，把资料作为上下文一起喂给模型，让它"带着参考资料"来回答你没有RAG相当于让大模型闭卷考试，有RAG相当于大模型开卷考试，大致过程如下：用户提问==>检索（Retrieve）把问题转成向量，去知识库里搜索相关文档片段==>增强(Augment)把检索的资料+用户问题拼成Prompt==>生成（Generate）llm基于“问题+参考资料”生成回答==>引用（Cite）标注答案出处参考为什么它能降低幻觉？幻觉产生原因主要有下面几点： 1. 知识截止模型训练数据有时间边界，不知道最新信息 2. 训练数据有噪声互联网上本身就有错误信息，模型学到了 3. 概率生成本质 LLM 本质是"预测下一个最可能的词"，不是"查事实" 4. 私有知识缺失模型没见过你公司的内部文档幻觉不是模型"故意撒谎"，而是它在"不知道"的时候仍然会"自信地编"。 RAG 降低幻觉的 4 个机制 1. 用"外部事实"替代"参数记忆" 模型参数记忆（不可靠） → 外部检索文本（可靠）模型的知识存在神经网络权重里，是"模糊的、压缩的"检索到的文档是原始文本，是"精确的、完整的"RAG 让模型优先依赖检索到的文本来回答，而不是靠"脑补"就像考试：与其让你凭记忆写答案，不如让你翻书抄——准确率自然高得多。 2. 缩小"需要编造"的空间没有 RAG 时，模型面对不知道的问题，有两个选择：说"我不知道" （用户不满意）编一个看起来合理的答案（产生幻觉）有 RAG 时，模型面前多了参考资料，它可以直接从资料中提取答案，不需要自己"生成"事实，只需要"组织语言"——这大幅减少了编造的动机和空间。 3. 提供"锚点"，约束生成方向检索到的文本相当于给模型一个强约束：Prompt = "请根据以下资料回答问题。如果资料中没有答案，请说'无法回答'。" + [检索到的文档片段] + 用户问题模型被锚定在给定文本的范围内生成，偏离资料的概率大幅下降。 4. 可溯源 → 幻觉可被发现这是 RAG 一个非常实用的附带好处：回答 + 引用来源 = 用户可以自己验证没有 RAG：模型说"某某法律规定……"，你没法验证，只能信有 RAG：模型说"根据《员工手册》第 3 章……"，你可以去翻手册核实幻觉从"不可见的错误"变成了"可检验的引用"。但是 RAG 不是万能的，RAG 也有自己的问题： 1. 检索不准搜回来的资料不相关 → 模型基于错误资料回答（"垃圾进垃圾出"） 2. 检索遗漏真正相关的文档没被检索到 → 模型仍然可能幻觉 3. 上下文窗口有限塞太多资料会超 token 限制，需要裁剪 4. 资料本身有矛盾多份文档说法不一，模型可能选错或混淆 5. 延迟增加多一步检索，响应变慢 6. 无法解决所有幻觉如果知识库里也没有答案，模型仍可能编造所以，RAG 把"不知道时乱说"的概率大幅降低，但不能降到零。