RAG 效果不好,先分清是检索坏了还是生成坏了
前言
一个 RAG 系统上线后,收到的反馈通常是一句话:
问它我们公司的报销标准,它答得不对。
这句话里的"不对",可能是:
- 知识库里根本没有这条 —— 数据问题
- 有,但没被检索出来 —— 召回问题
- 检索出来了,但排在 top-10 之外 —— 排序问题
- 检索排在第一位,模型没用它 —— 生成问题
- 用了,但理解错了 —— 生成问题(另一种)
五种根因,对应五种不同的修法。只测"最终答案对不对",得到的是一个 0 到 1 之间的数字,它无法告诉你去改哪里。
所以评估的第一件事不是算分,是分层。
一、把链路切开:三个阶段各自的职责
| 阶段 | 职责 | 失败表现 | 典型修法 |
|---|---|---|---|
| 召回 | 从全库捞出可能相关的候选 | 正确文档不在候选集里 | 改切块、换 embedding、加多路召回 |
| 重排 | 把最相关的排到前面 | 正确文档在候选里但排名靠后 | 换 reranker、调 top-k |
| 生成 | 基于给定文档组织答案 | 文档给了但答案错/答非所问 | 改 prompt、换模型、加约束 |
关键:每个阶段单独有指标。这样出问题时能一眼定位。
二、评测集:从哪来,以及每种来源的偏差
没有评测集就没有评估。三个来源,各有各的问题。
2.1 从真实日志里挖(推荐,但要清洗)
线上查询日志是最接近真实分布的数据。做法:
- 抽样一批用户提问(脱敏)
- 人工标注:这个问题应该由哪几篇文档回答(文档 ID)
- 得到
(query, gold_doc_ids)对
优点:分布真实。缺点:用户问得最多的往往是简单问题,长尾问题样本少。
必须清洗的三类:指代不明的("这个怎么弄")、依赖上下文的(多轮里的第二句)、本身有歧义的。
2.2 人工构造(质量高,成本高)
由熟悉业务的人直接写问题+标答案。质量最好,但一个人一天大概能认真标 30-50 条,想攒 200 条要一周。
适合:核心业务场景,值得投入。
2.3 用 LLM 合成(便宜,但有系统性偏差)
让模型读一篇文档,生成若干可能的问题。这个方法的问题很具体:
模型生成的问题,往往会复述文档里的原话。 比如文档写"报销标准为每餐 80 元",合成的问题就是"报销标准是每餐多少钱"——和文档字面高度重合。
用这种评测集测出的召回率会虚高,因为真实用户不会用文档的原话来提问。他们会说"出差吃饭能报多少"。
缓解办法:
- 生成时明确要求"用口语、换一种说法、不要出现原文中的专有名词"
- 混入真实日志的查询
- 合成集只用来做回归测试(改动前后对比),不用来做绝对水平判断
这条很重要:合成集适合比"这个版本比上个版本好还是差",不适合说"我们的召回率有 92%"。
三、指标:四个够用,别更多
3.1 recall@k
top-k 里包含了几篇该有的文档。
recall@k = |top_k ∩ gold| / |gold|
这是召回阶段最核心的指标。因为下游重排只能在候选集里选,候选里没有正确答案,后面全白搭。
k 取多少取决于架构:如果召回 50 条给重排,就测 recall@50;如果召回的 top-5 直接给模型,就测 recall@5。
3.2 MRR(Mean Reciprocal Rank)
第一个正确文档排在第几位,取倒数再平均。
MRR = mean(1 / rank_of_first_correct)
排第 1 得 1.0,排第 2 得 0.5,排第 5 得 0.2,没出现得 0。
适合"只有一个正确答案"的场景。它比 recall 更敏感于排序质量。
3.3 nDCG@k
考虑"多个相关文档 + 各自的排序位置",对排在前面的给更高权重。
DCG@k = Σ_{i=1..k} rel_i / log2(i + 1)
nDCG@k = DCG@k / IDCG@k
rel_i 是第 i 位的相关度(0/1 或分级),IDCG 是理想排序下的 DCG。
适合"一个问题可能由多篇文档共同回答"的场景。比如"年度总结需要的数据",可能分散在三份报告里。
3.4 端到端准确率
最终答案对不对。这个必须有,但只用它不够。它的作用是守住底线,不是定位问题。
四个指标的分工:
| 指标 | 回答什么问题 | 用在哪一层 |
|---|---|---|
| recall@k | 该有的文档进候选了吗 | 召回 |
| MRR | 第一个正确的排多前 | 重排 |
| nDCG@k | 整体排序质量 | 重排 |
| 端到端准确率 | 用户拿到正确答案了吗 | 全局 |
四、一次跑批,定位到具体环节
这是全文最实用的部分。做法:对评测集里的每条 query,记录三个中间结果。
for item in eval_set:
cand = recall(item.query, top_k=50) # 召回阶段
ranked = rerank(item.query, cand, top=5) # 重排阶段
answer = generate(item.query, ranked) # 生成阶段
record = {
"query": item.query,
"gold": item.gold_doc_ids,
"recall_hit": any(d in item.gold_doc_ids for d in cand),
"rank_of_gold": first_rank(ranked, item.gold_doc_ids),
"answer_ok": judge(answer, item.gold_answer),
}
跑完之后按 (recall_hit, rank_of_gold, answer_ok) 这个三元组分类:
| recall_hit | rank_of_gold | answer_ok | 结论 | 该动哪 |
|---|---|---|---|---|
| ❌ | — | ❌ | 候选集里就没有 | 召回层 |
| ✅ | > 3(或不在 top-5) | ❌ | 召回到了但被淹没 | 重排层 |
| ✅ | ≤ 3 | ❌ | 文档给了,模型没用 | 生成层 |
| ✅ | ≤ 3 | ✅ | 正常 | — |
一张表就能看出问题集中在哪。如果 80% 的失败落在第一行,你去调 prompt 是白费功夫;如果集中在第三行,改切块也没用。
这个表格比任何一个单一指标都有价值,因为它直接指向动作。
五、五个常见错误
5.1 只看 top-1
真实系统里 top-5 都会喂给模型。top-1 准确率低但 top-5 命中率高,说明排序有问题但召回没问题——这是个好消息,改重排就行。只看 top-1 会把这种情况误判成"检索很差"。
5.2 评测集和线上分布不一致
用产品文档构造的评测集,去评一个用户主要在问售后问题的系统。评测分数很高,线上反馈很差。
检查方法:把评测集的 query 和线上真实 query 各取 100 条,去掉具体名词后看句式分布。如果一边全是"XX 的定义是什么",另一边全是"XX 怎么弄",就是分布偏了。
5.3 用 LLM 当裁判,但不校准
LLM-as-judge 很常见,成本低。问题是它有系统性偏好:
- 偏好更长的答案
- 偏好和自己生成风格相似的答案
- 对"部分正确"的判定不稳定
校准方法:抽 50 条人工标注,和 judge 的结果对比。如果一致率低于某个水平,judge 就不可信。这一步必须做,否则你在优化一个假指标。
5.4 改动和评估没有隔离
一次改了切块大小、换了 prompt、调了 top-k,然后跑一次评估看到分数涨了——你不知道是哪个改动起的作用。
一次只改一个变量。 这在 RAG 调优里尤其重要,因为三个环节互相影响(切块变了,召回的文档变了,生成的效果自然变)。
5.5 没有回归集
每次改完都重新造评测数据,导致分数无法横向比较。
固定一个种子集(比如 200 条),每次改动都跑同一套。同时保留一个"扩展集"用于探索性评估。种子集不轻易改动,改动要记录版本。
六、一个最小可用的评估脚本
import math
from dataclasses import dataclass
@dataclass
class Case:
query: str
gold_ids: set[str]
gold_answer: str = ""
def recall_at_k(retrieved: list[str], gold: set[str], k: int) -> float:
if not gold:
return 0.0
return len(set(retrieved[:k]) & gold) / len(gold)
def mrr(retrieved: list[str], gold: set[str]) -> float:
for i, rid in enumerate(retrieved, 1):
if rid in gold:
return 1.0 / i
return 0.0
def ndcg_at_k(retrieved: list[str], gold: set[str], k: int) -> float:
dcg = sum(
1.0 / math.log2(i + 2)
for i, rid in enumerate(retrieved[:k])
if rid in gold
)
ideal_hits = min(len(gold), k)
idcg = sum(1.0 / math.log2(i + 2) for i in range(ideal_hits))
return dcg / idcg if idcg else 0.0
def evaluate(cases, recall_fn, rerank_fn, gen_fn, judge_fn,
recall_k=50, final_k=5):
rows = []
for c in cases:
cand = recall_fn(c.query, recall_k) # 召回的候选 id 列表
ranked = rerank_fn(c.query, cand, final_k) # 重排后的 id 列表
answer = gen_fn(c.query, ranked)
hit = bool(set(cand) & c.gold_ids)
rank = next((i for i, d in enumerate(ranked, 1) if d in c.gold_ids), None)
ok = judge_fn(c.query, answer, c.gold_answer)
rows.append({
"query": c.query,
"recall_hit": hit,
"rank_of_gold": rank,
"answer_ok": ok,
"rc@k": recall_at_k(cand, c.gold_ids, recall_k),
"mrr": mrr(ranked, c.gold_ids),
"ndcg": ndcg_at_k(ranked, c.gold_ids, final_k),
})
n = len(rows) or 1
summary = {
"n": len(rows),
"recall@k": sum(r["rc@k"] for r in rows) / n,
"mrr": sum(r["mrr"] for r in rows) / n,
"ndcg@k": sum(r["ndcg"] for r in rows) / n,
"answer_acc": sum(1 for r in rows if r["answer_ok"]) / n,
}
# 分层归因:这是最关键的一段
buckets = {"召回层": 0, "重排层": 0, "生成层": 0, "正常": 0}
for r in rows:
if not r["recall_hit"]:
buckets["召回层"] += 1
elif r["rank_of_gold"] is None or r["rank_of_gold"] > 3:
buckets["重排层"] += 1
elif not r["answer_ok"]:
buckets["生成层"] += 1
else:
buckets["正常"] += 1
summary["归因"] = {k: f"{v}/{len(rows)}" for k, v in buckets.items()}
return summary, rows
summary["归因"] 那一行,就是前面说的那张表的代码版。每次调优跑一遍,看四个桶的比例怎么移动。
做了什么
给知识库问答建了一套评估:
- 从线上日志抽样 80 条真实提问 + 人工构造 40 条长尾问题,组成种子集(固定不动)
- 另外用 LLM 合成了 200 条做回归集,只用于版本间对比
- 每次跑批记录
recall_hit / rank_of_gold / answer_ok三元组 - 按四个桶归因,先看问题集中在哪一层再动手
- judge 用人工标注的 50 条做了校准,一致率不达标就不用自动评判
第一次跑出来的归因结果是"召回层"占了大头——原本以为是 prompt 写得不好,实际是长文档切块把关键段落切断了。如果把时间花在调 prompt 上,会一直不见效。
一些体会
评估的价值在于归因,不在于分数。 一个 0.78 的端到端准确率,如果不告诉你是哪一层的问题,它的信息量接近于零。而四个桶的比例,直接告诉你下一步该改什么。
合成评测集容易让人过度乐观。 因为它用文档的原话提问,等于把检索难度调低了。拿它做版本对比没问题,拿来宣称"召回率 92%"会误导自己和别人。
一次只改一个变量。 这条在 RAG 里比在别处更难遵守,因为切块、召回、重排、生成是串联的,前一步变了后面都变。但不遵守的代价是无法归因,最后只能靠感觉调。
种子集要像代码一样管理。 加样本要记录为什么加,改动要版本化。否则半年后你无法解释"为什么这个指标从 0.71 掉到 0.68"——可能是模型变了,也可能是评测集悄悄变了。
最后:如果一次优化在归因表上的四个桶比例几乎没变,那这次优化大概率没有实际效果,即使某个分数涨了一点点。优先相信结构,不要相信小数点后两位。
- 点赞
- 收藏
- 关注作者
评论(0)