RAG 效果不好,先分清是检索坏了还是生成坏了

举报
yd_232401777 发表于 2026/11/03 07:05:52 2026/11/03
【摘要】 "回答不准"是 RAG 最常见的反馈,但它对应的故障位置至少有三种:没召回到、召回到了但排太靠后、检索没问题但生成跑偏。这三种的修法完全不同——改切块、调重排、改提示词——如果只测端到端准确率,你永远不知道该动哪一个。这篇讲怎么把评估拆到阶段级:指标怎么选、评测集从哪来、怎么用一次跑批定位到具体环节。

前言

一个 RAG 系统上线后,收到的反馈通常是一句话:

问它我们公司的报销标准,它答得不对。

这句话里的"不对",可能是:

  1. 知识库里根本没有这条 —— 数据问题
  2. 有,但没被检索出来 —— 召回问题
  3. 检索出来了,但排在 top-10 之外 —— 排序问题
  4. 检索排在第一位,模型没用它 —— 生成问题
  5. 用了,但理解错了 —— 生成问题(另一种)

五种根因,对应五种不同的修法。只测"最终答案对不对",得到的是一个 0 到 1 之间的数字,它无法告诉你去改哪里。

所以评估的第一件事不是算分,是分层。

一、把链路切开:三个阶段各自的职责

阶段职责失败表现典型修法
召回从全库捞出可能相关的候选正确文档不在候选集里改切块、换 embedding、加多路召回
重排把最相关的排到前面正确文档在候选里但排名靠后换 reranker、调 top-k
生成基于给定文档组织答案文档给了但答案错/答非所问改 prompt、换模型、加约束

关键:每个阶段单独有指标。这样出问题时能一眼定位。

二、评测集:从哪来,以及每种来源的偏差

没有评测集就没有评估。三个来源,各有各的问题。

2.1 从真实日志里挖(推荐,但要清洗)

线上查询日志是最接近真实分布的数据。做法:

  1. 抽样一批用户提问(脱敏)
  2. 人工标注:这个问题应该由哪几篇文档回答(文档 ID)
  3. 得到 (query, gold_doc_ids) 对

优点:分布真实。缺点:用户问得最多的往往是简单问题,长尾问题样本少。

必须清洗的三类:指代不明的("这个怎么弄")、依赖上下文的(多轮里的第二句)、本身有歧义的。

2.2 人工构造(质量高,成本高)

由熟悉业务的人直接写问题+标答案。质量最好,但一个人一天大概能认真标 30-50 条,想攒 200 条要一周。

适合:核心业务场景,值得投入。

2.3 用 LLM 合成(便宜,但有系统性偏差)

让模型读一篇文档,生成若干可能的问题。这个方法的问题很具体:

模型生成的问题,往往会复述文档里的原话。 比如文档写"报销标准为每餐 80 元",合成的问题就是"报销标准是每餐多少钱"——和文档字面高度重合。

用这种评测集测出的召回率会虚高,因为真实用户不会用文档的原话来提问。他们会说"出差吃饭能报多少"。

缓解办法:

  • 生成时明确要求"用口语、换一种说法、不要出现原文中的专有名词"
  • 混入真实日志的查询
  • 合成集只用来做回归测试(改动前后对比),不用来做绝对水平判断

这条很重要:合成集适合比"这个版本比上个版本好还是差",不适合说"我们的召回率有 92%"。

三、指标:四个够用,别更多

3.1 recall@k

top-k 里包含了几篇该有的文档。

recall@k = |top_k ∩ gold| / |gold|

这是召回阶段最核心的指标。因为下游重排只能在候选集里选,候选里没有正确答案,后面全白搭。

k 取多少取决于架构:如果召回 50 条给重排,就测 recall@50;如果召回的 top-5 直接给模型,就测 recall@5。

3.2 MRR(Mean Reciprocal Rank)

第一个正确文档排在第几位,取倒数再平均。

MRR = mean(1 / rank_of_first_correct)

排第 1 得 1.0,排第 2 得 0.5,排第 5 得 0.2,没出现得 0。

适合"只有一个正确答案"的场景。它比 recall 更敏感于排序质量。

3.3 nDCG@k

考虑"多个相关文档 + 各自的排序位置",对排在前面的给更高权重。

DCG@k  = Σ_{i=1..k} rel_i / log2(i + 1)
nDCG@k = DCG@k / IDCG@k

rel_i 是第 i 位的相关度(0/1 或分级),IDCG 是理想排序下的 DCG。

适合"一个问题可能由多篇文档共同回答"的场景。比如"年度总结需要的数据",可能分散在三份报告里。

3.4 端到端准确率

最终答案对不对。这个必须有,但只用它不够。它的作用是守住底线,不是定位问题。

四个指标的分工:

指标回答什么问题用在哪一层
recall@k该有的文档进候选了吗召回
MRR第一个正确的排多前重排
nDCG@k整体排序质量重排
端到端准确率用户拿到正确答案了吗全局

四、一次跑批,定位到具体环节

这是全文最实用的部分。做法:对评测集里的每条 query,记录三个中间结果。

for item in eval_set:
    cand = recall(item.query, top_k=50)      # 召回阶段
    ranked = rerank(item.query, cand, top=5) # 重排阶段
    answer = generate(item.query, ranked)    # 生成阶段

    record = {
        "query": item.query,
        "gold": item.gold_doc_ids,
        "recall_hit": any(d in item.gold_doc_ids for d in cand),
        "rank_of_gold": first_rank(ranked, item.gold_doc_ids),
        "answer_ok": judge(answer, item.gold_answer),
    }

跑完之后按 (recall_hit, rank_of_gold, answer_ok) 这个三元组分类:

recall_hitrank_of_goldanswer_ok结论该动哪
❌—❌候选集里就没有召回层
✅> 3(或不在 top-5)❌召回到了但被淹没重排层
✅≤ 3❌文档给了,模型没用生成层
✅≤ 3✅正常—

一张表就能看出问题集中在哪。如果 80% 的失败落在第一行,你去调 prompt 是白费功夫;如果集中在第三行,改切块也没用。

这个表格比任何一个单一指标都有价值,因为它直接指向动作。

五、五个常见错误

5.1 只看 top-1

真实系统里 top-5 都会喂给模型。top-1 准确率低但 top-5 命中率高,说明排序有问题但召回没问题——这是个好消息,改重排就行。只看 top-1 会把这种情况误判成"检索很差"。

5.2 评测集和线上分布不一致

用产品文档构造的评测集,去评一个用户主要在问售后问题的系统。评测分数很高,线上反馈很差。

检查方法:把评测集的 query 和线上真实 query 各取 100 条,去掉具体名词后看句式分布。如果一边全是"XX 的定义是什么",另一边全是"XX 怎么弄",就是分布偏了。

5.3 用 LLM 当裁判,但不校准

LLM-as-judge 很常见,成本低。问题是它有系统性偏好:

  • 偏好更长的答案
  • 偏好和自己生成风格相似的答案
  • 对"部分正确"的判定不稳定

校准方法:抽 50 条人工标注,和 judge 的结果对比。如果一致率低于某个水平,judge 就不可信。这一步必须做,否则你在优化一个假指标。

5.4 改动和评估没有隔离

一次改了切块大小、换了 prompt、调了 top-k,然后跑一次评估看到分数涨了——你不知道是哪个改动起的作用。

一次只改一个变量。 这在 RAG 调优里尤其重要,因为三个环节互相影响(切块变了,召回的文档变了,生成的效果自然变)。

5.5 没有回归集

每次改完都重新造评测数据,导致分数无法横向比较。

固定一个种子集(比如 200 条),每次改动都跑同一套。同时保留一个"扩展集"用于探索性评估。种子集不轻易改动,改动要记录版本。

六、一个最小可用的评估脚本

import math
from dataclasses import dataclass


@dataclass
class Case:
    query: str
    gold_ids: set[str]
    gold_answer: str = ""


def recall_at_k(retrieved: list[str], gold: set[str], k: int) -> float:
    if not gold:
        return 0.0
    return len(set(retrieved[:k]) & gold) / len(gold)


def mrr(retrieved: list[str], gold: set[str]) -> float:
    for i, rid in enumerate(retrieved, 1):
        if rid in gold:
            return 1.0 / i
    return 0.0


def ndcg_at_k(retrieved: list[str], gold: set[str], k: int) -> float:
    dcg = sum(
        1.0 / math.log2(i + 2)
        for i, rid in enumerate(retrieved[:k])
        if rid in gold
    )
    ideal_hits = min(len(gold), k)
    idcg = sum(1.0 / math.log2(i + 2) for i in range(ideal_hits))
    return dcg / idcg if idcg else 0.0


def evaluate(cases, recall_fn, rerank_fn, gen_fn, judge_fn,
             recall_k=50, final_k=5):
    rows = []
    for c in cases:
        cand = recall_fn(c.query, recall_k)            # 召回的候选 id 列表
        ranked = rerank_fn(c.query, cand, final_k)     # 重排后的 id 列表
        answer = gen_fn(c.query, ranked)

        hit = bool(set(cand) & c.gold_ids)
        rank = next((i for i, d in enumerate(ranked, 1) if d in c.gold_ids), None)
        ok = judge_fn(c.query, answer, c.gold_answer)

        rows.append({
            "query": c.query,
            "recall_hit": hit,
            "rank_of_gold": rank,
            "answer_ok": ok,
            "rc@k": recall_at_k(cand, c.gold_ids, recall_k),
            "mrr": mrr(ranked, c.gold_ids),
            "ndcg": ndcg_at_k(ranked, c.gold_ids, final_k),
        })

    n = len(rows) or 1
    summary = {
        "n": len(rows),
        "recall@k": sum(r["rc@k"] for r in rows) / n,
        "mrr": sum(r["mrr"] for r in rows) / n,
        "ndcg@k": sum(r["ndcg"] for r in rows) / n,
        "answer_acc": sum(1 for r in rows if r["answer_ok"]) / n,
    }

    # 分层归因:这是最关键的一段
    buckets = {"召回层": 0, "重排层": 0, "生成层": 0, "正常": 0}
    for r in rows:
        if not r["recall_hit"]:
            buckets["召回层"] += 1
        elif r["rank_of_gold"] is None or r["rank_of_gold"] > 3:
            buckets["重排层"] += 1
        elif not r["answer_ok"]:
            buckets["生成层"] += 1
        else:
            buckets["正常"] += 1

    summary["归因"] = {k: f"{v}/{len(rows)}" for k, v in buckets.items()}
    return summary, rows

summary["归因"] 那一行,就是前面说的那张表的代码版。每次调优跑一遍,看四个桶的比例怎么移动。

做了什么

给知识库问答建了一套评估:

  1. 从线上日志抽样 80 条真实提问 + 人工构造 40 条长尾问题,组成种子集(固定不动)
  2. 另外用 LLM 合成了 200 条做回归集,只用于版本间对比
  3. 每次跑批记录 recall_hit / rank_of_gold / answer_ok 三元组
  4. 按四个桶归因,先看问题集中在哪一层再动手
  5. judge 用人工标注的 50 条做了校准,一致率不达标就不用自动评判

第一次跑出来的归因结果是"召回层"占了大头——原本以为是 prompt 写得不好,实际是长文档切块把关键段落切断了。如果把时间花在调 prompt 上,会一直不见效。

一些体会

评估的价值在于归因,不在于分数。 一个 0.78 的端到端准确率,如果不告诉你是哪一层的问题,它的信息量接近于零。而四个桶的比例,直接告诉你下一步该改什么。

合成评测集容易让人过度乐观。 因为它用文档的原话提问,等于把检索难度调低了。拿它做版本对比没问题,拿来宣称"召回率 92%"会误导自己和别人。

一次只改一个变量。 这条在 RAG 里比在别处更难遵守,因为切块、召回、重排、生成是串联的,前一步变了后面都变。但不遵守的代价是无法归因,最后只能靠感觉调。

种子集要像代码一样管理。 加样本要记录为什么加,改动要版本化。否则半年后你无法解释"为什么这个指标从 0.71 掉到 0.68"——可能是模型变了,也可能是评测集悄悄变了。

最后:如果一次优化在归因表上的四个桶比例几乎没变,那这次优化大概率没有实际效果,即使某个分数涨了一点点。优先相信结构,不要相信小数点后两位。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。