换一个 embedding 模型,为什么要把整个向量库重建
前言
RAG 做起来之后,几乎一定会遇到这个需求:换 embedding 模型。
理由很正当——新模型榜单分数更高、支持更长输入、多语言更好、或者干脆是旧的模型下线了。看起来就是把 model="bge-large-zh" 改成 model="bge-m3"。
然后你会发现:改完之后检索结果全乱了。
不是变差一点,是完全随机——问"退货政策",它返回"公司年会通知"。而且这种错很隐蔽,因为向量检索永远会返回 top-k,不会报错。
一、为什么两个模型的向量不能混用
1.1 向量空间的坐标系是各自独立的
一个 embedding 模型的输出,是它自己在训练过程中学出来的一个高维坐标系。模型 A 的第 37 维代表"是否与退款相关",模型 B 的第 37 维可能代表"是不是疑问句"。
两套坐标系的向量做余弦相似度,数学上能算,语义上无意义。
打个比方:两个人各自画了一张城市地图,都用了"向东 3 公里、向北 5 公里"这样的坐标描述。但他们的原点不同、正北方向不同。你把 A 地图的坐标拿到 B 地图上找,找到的当然是随机地点。
1.2 维度可能直接不同
常见维度:768、1024、1536、3072。如果你的向量库是按 1024 维建的,新模型输出 1536 维,连写入都会被拒绝。
这一层是硬约束,反而好处理——报错很明确。
1.3 最隐蔽的一种:同模型不同版本
有些模型标称版本号变了但维度没变,看起来"兼容"。实际上训练数据或微调目标变了,空间已经偏移。
结论:只要模型的权重变了,就必须视为不同的空间。
判断方法很实用:拿 100 条已知相似的文档对,用新旧模型分别算相似度分布。如果均值或分布形状明显不同,就不能混用。
二、假设维度一样、都归一化了,能混吗
不能。这两件事经常被搞混。
归一化解决的是"模长干扰":把向量缩放到单位长度后,余弦相似度等于点积,计算更快、分数范围固定在 [-1, 1]。
它不解决"空间不一致":两个不同的模型,归一化后各自落在各自空间的单位球面上,两个球面的点没有对应关系。
所以:
| 情况 | 能混用吗 |
|---|---|
| 同模型,一条归一化了一条没有 | 能,但要统一(否则分数不可比) |
| 同模型不同版本 | 不能 |
| 不同模型,维度相同 | 不能 |
| 不同模型,维度不同 | 不能(且写不进去) |
三、迁移方案:双写 + 影子索引 + 灰度
不能一次性把库里 100 万条向量重算完再切——重建期间检索会不可用,而且新模型效果没验证就全量切,风险太大。
合理的迁移是四个阶段:
3.1 阶段一:建影子索引
新建一个空索引,元数据标清楚是新模型。不动线上索引。
kb_v3_bge_large ← 线上,继续服务 kb_v3_bge_m3 ← 影子,空库
3.2 阶段二:全量回填 + 增量双写
- 全量:后台任务把历史文档逐批用新模型重算,写入影子索引
- 增量:新的写入同时进两个索引(双写)
双写期间要注意写入的原子性:如果新模型编码成功、旧模型失败,两个索引会不一致。要么都成功,要么都失败并重试。实践中给写入加一个队列,失败重试,比在请求链路里同步调两个模型更稳。
3.3 阶段三:影子评估
影子索引填满后,用固定的评测集对比两个索引的检索效果。
评测集要提前准备,包含:
| 类型 | 例子 | 作用 |
|---|---|---|
| 明确问题 | "退货流程是什么" → 应命中《退货政策》 | 测基础召回 |
| 同义改写 | "怎么退钱" → 同上 | 测语义泛化 |
| 长尾问题 | "跨境订单退货运费谁承担" | 测细粒度区分 |
| 干扰测试 | 问退款,库里有一堆"退款流程变更通知" | 测噪声抵抗 |
指标用 recall@k(top-k 里有没有正确答案)和 MRR(正确答案排第几)。不要只看 top-1 准确率——真实系统里 top-5 都是要喂给模型的。
这一步的意义是:如果新模型在你的数据上并不比旧的好,那就别切。榜单分数不等于你的业务效果。
3.4 阶段四:灰度切流
评估通过后,按流量比例切:
def choose_index(user_id: str) -> str:
if rollout_percent <= 0:
return "kb_v3_bge_large"
if rollout_percent >= 100:
return "kb_v3_bge_m3"
# 按用户哈希,保证同一用户始终用同一索引,避免体感忽好忽坏
bucket = int(hashlib.md5(user_id.encode()).hexdigest()[:8], 16) % 100
return "kb_v3_bge_m3" if bucket < rollout_percent else "kb_v3_bge_large"
按用户哈希而不是按请求哈希,这点很重要。按请求分流会让同一个用户这次用新索引、下次用旧索引,一旦两者效果有差异,用户会觉得系统"时好时坏",反馈也没法归因。
灰度期间盯两个指标:检索命中率(有反馈的)、以及下游回答质量。发现问题就把 rollout_percent 调回 0——这也是为什么旧索引必须保留一段时间。
四、阈值必须重新标定
这一条最容易被忽略,而且后果很直接。
很多 RAG 系统里有一个相似度阈值,低于它就认为"没有相关内容",回答"我不知道"。
docs = search(q, top_k=5)
docs = [d for d in docs if d.score >= 0.75] # ← 这个 0.75 是标定出来的
if not docs:
return "知识库中未找到相关信息"
不同模型的分数分布完全不同。 模型 A 的"相关"可能是 0.78,模型 B 的"相关"可能是 0.52。换模型不重标阈值,会出现两种极端:
| 阈值没重标 | 后果 |
|---|---|
| 新模型分数普遍偏低 | 大量本该回答的问题被判"没找到",答出率暴跌 |
| 新模型分数普遍偏高 | 噪音全被当成相关内容,回答开始胡编 |
标定方法:取评测集,分别用新旧模型算出相关/不相关样本的分数分布,选一个能分开两类分布的值(通常取两个分布的交界处,而不是拍脑袋的 0.75)。
这一步没做,前三个阶段的努力会被一个数字毁掉。
五、成本要提前算
重建全库不是免费的。三个维度:
| 维度 | 怎么估 |
|---|---|
| embedding 调用费 | 总条数 × 平均 token 数 × 单价。注意长文档要切块,块数远多于文档数 |
| 时间 | 批处理吞吐 × 总块数。100 万块按每秒 50 块算,约 5.5 小时 |
| 索引重建 | HNSW 建索引本身很吃 CPU,建 100 万条的索引可能要几十分钟到数小时 |
不要试图"只重建最近 3 个月的数据"。这会导致旧数据在新索引里根本不存在,检索结果随机缺失一部分。要么全建,要么不建。
如果成本太高,有一个折中:只对高频访问的文档优先重建,剩下的按需重建。但这要求检索层能处理"部分文档暂时不可用",复杂度反而更高。多数情况下不如老老实实全量重建一次。
六、索引元数据:必须写,不然半年后没人知道
这一节是经验教训。一个索引如果只存了向量,没存"它是哪个模型、什么参数生成的",半年后接手的人会非常痛苦:
- 想换模型,不知道现有的是哪个
- 分数不对劲,不知道当时归一化没有
- 想复用,不知道距离度量是 cosine 还是 l2
必须在索引创建时写入元数据:
{
"collection": "kb_v3_bge_m3",
"model": "bge-m3",
"model_version": "1.0",
"dimension": 1024,
"normalize": true,
"metric": "cosine",
"max_input_tokens": 8192,
"chunk_strategy": "fixed-512-overlap-64",
"built_at": "2026-10-28T10:00:00+08:00",
"doc_count": 128430
}
chunk_strategy 也要记——因为切块方式变了,向量含义也变了。同样 512 token 的块,重叠 0 和重叠 64,语义完整性差别很大。如果只换切块策略不换模型,一样需要重建。
七、带版本校验的检索封装
最后是代码。核心思路:把"模型 + 索引"绑成一个不可拆的组合,用错就直接报错,而不是静默返回垃圾结果。
import hashlib
from dataclasses import dataclass
@dataclass(frozen=True)
class IndexSpec:
collection: str
model: str
dimension: int
normalize: bool
metric: str
def fingerprint(self) -> str:
raw = f"{self.model}|{self.dimension}|{self.normalize}|{self.metric}"
return hashlib.sha256(raw.encode()).hexdigest()[:12]
class Embedder:
def __init__(self, name: str, dim: int, normalize: bool = True):
self.name = name
self.dim = dim
self.normalize = normalize
def encode(self, texts: list[str]) -> list[list[float]]:
vecs = _call_model(self.name, texts)
if self.normalize:
vecs = [_l2_normalize(v) for v in vecs]
return vecs
class VectorStore:
def __init__(self, spec: IndexSpec, embedder: Embedder):
# ⚠️ 启动时就校验,不要等到检索出问题才发现
if spec.model != embedder.name:
raise RuntimeError(
f"索引由 {spec.model} 构建,当前 embedder 是 {embedder.name};"
f"跨模型检索无意义,请重建索引或换回原模型"
)
if spec.dimension != embedder.dim:
raise RuntimeError(
f"维度不匹配:索引 {spec.dimension},模型 {embedder.dim}"
)
self.spec = spec
self.embedder = embedder
def search(self, query: str, top_k: int = 5, min_score: float | None = None):
[qv] = self.embedder.encode([query])
hits = _ann_search(
collection=self.spec.collection,
vector=qv,
top_k=top_k,
metric=self.spec.metric,
)
# 阈值必须来自这个索引的标定结果,不能跨索引复用
if min_score is not None:
hits = [h for h in hits if h.score >= min_score]
return hits
def _l2_normalize(v):
norm = sum(x * x for x in v) ** 0.5 or 1.0
return [x / norm for x in v]
启动时的校验比运行时的排查便宜得多。宁可启动失败,也不要静默返回错误结果——这是全文最重要的一条工程原则。
做了什么
迁移一次 embedding 的完整流程,实际执行下来:
- 提前准备了 120 条评测集(含明确问题、同义改写、长尾、干扰四类)
- 起了影子索引,后台全量回填 + 线上双写
- 影子索引填满后跑评测,对比 recall@5 和 MRR
- 按用户哈希灰度,从 5% 逐步放到 100%,历时一周
- 相似度阈值重新标定——这一步一开始忘了,导致灰度到 20% 时答出率下降,回头才发现
- 旧索引保留两周才下线
第 5 点是真踩的坑。前四步都做了,就因为阈值没重标,灰度的 20% 用户答出率明显下降,还以为是新模型不行。后来把两个模型的相关/不相关分数分布画出来,才看到分布整体下移了。
一些体会
"换个模型"这四个字,隐藏的工作量是"重建一个数据资产"。 向量库不是配置,是数据和模型的联合产物。模型变了,产物就作废了。
归一化和跨模型兼容是两个不相干的问题。 前者是数值处理,后者是空间一致性。把归一化当成"兼容处理"是常见的误解。
阈值比模型更容易被忘。 因为它在一个不起眼的常量里,而换模型时所有人的注意力都在模型名上。建议把阈值写进索引元数据旁边,换模型时强制走一遍标定流程。
元数据缺失的代价是延迟发生的。 建库那一刻觉得"多此一举",半年后接手的人要为这个"多此一举"付出几天时间。而写元数据的成本是十行代码。
最后一条判断标准:如果一次模型升级,你无法回答"新模型在我的数据上比旧模型好在哪",那这次升级就不该做。榜单分数是别人的数据,你的召回率才是你的。
- 点赞
- 收藏
- 关注作者
评论(0)