一、什么是大模型幻觉？大模型幻觉（LLM Hallucination）是指大语言模型生成了看似合理、语言流畅，但与客观事实、输入内容或可信知识来源不一致的信息。例如：事实性幻觉：编造不存在的论文、人物、政策或技术参数。忠实性幻觉：总结文档时添加原文没有提到的结论，甚至与原文矛盾。引用幻觉：生成不存在的参考文献，或者引用真实文献却给出文献未支持的结论。推理与计算错误：在多步推理中使用错误前提，最终生成看似自洽但不正确的答案。从来源关系看，幻觉还可分为内部幻觉（与给定来源矛盾）和外部幻觉（无法从给定来源得到支持）。需要注意：无法从来源验证的信息并不一定是错误事实。二、大模型产生幻觉的主要原因1. 预训练目标与真实性目标不完全一致大语言模型通常采用自回归方式，通过预测下一个 Token 学习语言规律：P(xₜ | x₁, x₂, …, xₜ₋₁)该目标主要优化文本预测概率，并不直接保证生成内容符合客观事实。因此，模型可能生成统计上合理、实际上错误的回答。2. 训练数据存在质量问题互联网语料中可能包含错误信息、过时知识、相互矛盾的描述、重复内容和低质量合成文本。模型在学习这些语料时，也可能习得其中的错误知识或偏差。3. 模型知识存在边界模型参数并不是实时更新的事实数据库。对于训练后发生的新事件、专业领域的冷门知识以及未充分学习的事实，模型可能无法准确回答。此外，模型对知识的记忆和组合也并非完全可靠。4. 微调与人类偏好可能产生影响指令微调（SFT）和人类反馈强化学习（RLHF）能够改善指令遵循能力，但如果训练或偏好数据过度奖励完整、流畅、自信的回答，而没有充分奖励事实正确性和适当拒答，就可能让模型倾向于在证据不足时继续作答。5. 解码过程具有不确定性Temperature、Top-k、Top-p 等解码参数影响 Token 的选择。较高随机性可能增加不稳定输出，但低随机性也不代表事实一定正确。即使使用贪心解码，模型仍可能稳定地生成错误答案。6. 长上下文与检索结果存在干扰当输入包含大量文档时，模型可能忽略关键证据、混淆不同来源的信息，或者错误理解检索结果。尤其在检索文档不准确、相互冲突或包含过时信息时，幻觉风险会进一步增加。三、从四个层面缓解大模型幻觉1. 数据层：提高知识来源质量核心思路是减少模型学习错误知识的机会。主要措施包括：数据清洗：过滤虚假、低质量和明显错误的文本。数据去重：减少重复内容对模型知识分布的过度影响。权威数据增强：增加官方文档、教材、经过核验的行业资料等高质量数据。知识冲突处理：对矛盾事实进行来源、版本及时间标记。时效性管理：建立数据更新机制，避免过时信息被当作当前事实。高质量标注：保证问答训练集中的答案与提供的证据一致。例如，在金融领域，应优先使用经过核验、带有报告日期的财务数据，而不是未经确认的论坛内容。优势： 从源头降低错误知识的学习概率。局限： 数据清洗无法覆盖全部错误，也无法彻底解决模型推理和知识更新问题。2. 训练层：让模型学会基于证据回答主要通过预训练优化、监督微调和偏好对齐改善模型行为。（1）监督微调 SFT构建高质量指令数据，训练模型：根据给定资料回答。区分事实、推测与未知信息。在证据不足时明确表达不确定性。避免编造数字、来源及引用。（2）RLHF / DPO 偏好优化在人类反馈强化学习或直接偏好优化过程中，优先选择事实准确、证据充分的回答，而不是单纯奖励语言流畅或回答完整。例如，对于缺乏证据的问题，应奖励合理拒答，而非虚构具体答案。（3）证据感知与对比训练通过正负样本训练，让模型区分：有证据支持的陈述。与证据矛盾的陈述。暂无证据验证的陈述。（4）不确定性校准利用校准训练或专门的置信度估计方法，改善模型对自身回答可靠性的判断。优势： 能系统性改善模型的回答行为。局限： 对齐训练不能保证模型内部知识永远正确；奖励设计不合理时也可能引入新的偏差。3. 解码层：控制生成过程与增加验证主要在模型推理阶段降低错误输出风险。（1）调整采样策略在事实问答、技术支持等任务中，可以适当降低 Temperature，例如从 0.7 调整为 0～0.3，并结合 Top-p 控制生成随机性。但这些数值只是实验起点，需要通过任务评测调优，不能认为 Temperature=0 就不会产生幻觉。（2）约束解码使用 JSON Schema、语法约束、候选答案集合或其他结构化输出策略，限制生成形式。对于适合封闭答案空间的任务，还可以限制模型从已知实体或合法选项中选择。需要注意，结构正确不等于内容真实。（3）多次采样与一致性检查对于重要问题，可以生成多个候选答案，检测不同回答之间的事实冲突。例如，SelfCheckGPT 利用多次生成之间的一致性辅助识别潜在幻觉。不过，多个回答一致仍可能共同出错，因此一致性不能替代外部事实验证。（4）生成后验证可以采用 Chain-of-Verification（CoVe）等方法：初步回答 → 提取待验证事实 → 独立核验 → 修正最终答案。对于数学计算、日期、数据库查询和代码执行等任务，还可以调用计算器、数据库或执行工具进行确定性验证。优势： 无需全面重新训练模型，适合在推理阶段直接实施。局限： 会增加响应时间与计算成本，并且模型自我验证也可能出错。4. 检索层：通过 RAG 提供外部事实依据检索增强生成（Retrieval-Augmented Generation，RAG）是缓解知识缺失、知识过时和企业知识问答幻觉的重要技术。基本流程：用户提问 → 查询改写 → 检索相关文档 → 重排序 → 注入可信上下文 → 生成答案 → 事实核验。具体措施如下。（1）构建高质量知识库采用经过审核的文档，保留文档标题、来源、发布日期、版本和权限等元数据。（2）优化检索召回结合关键词检索（如 BM25）和向量语义检索，实现混合检索（Hybrid Search）。对于复杂问题，可使用查询改写、多路召回和问题分解，提高相关证据的召回率。（3）检索结果重排序使用 Reranker 对召回片段进行相关性排序，减少无关内容进入模型上下文。（4）优化文档切分根据文档的章节、语义和结构进行 Chunk 切分，避免把一个完整事实拆散。对于表格、标题层级和跨段落内容，需要保留必要上下文。（5）基于证据生成答案在提示词中明确要求：“仅依据提供的检索资料回答。对于