换一个 embedding 模型,为什么要把整个向量库重建

举报
yd_232401777 发表于 2026/11/02 07:41:32 2026/11/02
【摘要】 "我们换个更好的 embedding 模型吧"——这句话在需求会上往往被当成一行配置改动,实际执行时会变成一次全库重建、一次双写改造、一次阈值重标定,还要准备回滚预案。原因是向量空间不可跨模型比较:用模型 A 编码的查询,去查模型 B 编码的文档,得到的相似度没有意义。这篇讲清楚为什么不能混用、迁移该怎么做、以及哪些信息必须写进索引元数据,否则半年后没人知道这个库是什么。

前言

RAG 做起来之后,几乎一定会遇到这个需求:换 embedding 模型。

理由很正当——新模型榜单分数更高、支持更长输入、多语言更好、或者干脆是旧的模型下线了。看起来就是把 model="bge-large-zh" 改成 model="bge-m3"。

然后你会发现:改完之后检索结果全乱了。

不是变差一点,是完全随机——问"退货政策",它返回"公司年会通知"。而且这种错很隐蔽,因为向量检索永远会返回 top-k,不会报错。

一、为什么两个模型的向量不能混用

1.1 向量空间的坐标系是各自独立的

一个 embedding 模型的输出,是它自己在训练过程中学出来的一个高维坐标系。模型 A 的第 37 维代表"是否与退款相关",模型 B 的第 37 维可能代表"是不是疑问句"。

两套坐标系的向量做余弦相似度,数学上能算,语义上无意义。

打个比方:两个人各自画了一张城市地图,都用了"向东 3 公里、向北 5 公里"这样的坐标描述。但他们的原点不同、正北方向不同。你把 A 地图的坐标拿到 B 地图上找,找到的当然是随机地点。

1.2 维度可能直接不同

常见维度:768、1024、1536、3072。如果你的向量库是按 1024 维建的,新模型输出 1536 维,连写入都会被拒绝。

这一层是硬约束,反而好处理——报错很明确。

1.3 最隐蔽的一种:同模型不同版本

有些模型标称版本号变了但维度没变,看起来"兼容"。实际上训练数据或微调目标变了,空间已经偏移。

结论:只要模型的权重变了,就必须视为不同的空间。

判断方法很实用:拿 100 条已知相似的文档对,用新旧模型分别算相似度分布。如果均值或分布形状明显不同,就不能混用。

二、假设维度一样、都归一化了,能混吗

不能。这两件事经常被搞混。

归一化解决的是"模长干扰":把向量缩放到单位长度后,余弦相似度等于点积,计算更快、分数范围固定在 [-1, 1]。

它不解决"空间不一致":两个不同的模型,归一化后各自落在各自空间的单位球面上,两个球面的点没有对应关系。

所以:

情况能混用吗
同模型,一条归一化了一条没有能,但要统一(否则分数不可比)
同模型不同版本不能
不同模型,维度相同不能
不同模型,维度不同不能(且写不进去)

三、迁移方案:双写 + 影子索引 + 灰度

不能一次性把库里 100 万条向量重算完再切——重建期间检索会不可用,而且新模型效果没验证就全量切,风险太大。

合理的迁移是四个阶段:

3.1 阶段一:建影子索引

新建一个空索引,元数据标清楚是新模型。不动线上索引。

kb_v3_bge_large   ← 线上,继续服务
kb_v3_bge_m3      ← 影子,空库

3.2 阶段二:全量回填 + 增量双写

  • 全量:后台任务把历史文档逐批用新模型重算,写入影子索引
  • 增量:新的写入同时进两个索引(双写)

双写期间要注意写入的原子性:如果新模型编码成功、旧模型失败,两个索引会不一致。要么都成功,要么都失败并重试。实践中给写入加一个队列,失败重试,比在请求链路里同步调两个模型更稳。

3.3 阶段三:影子评估

影子索引填满后,用固定的评测集对比两个索引的检索效果。

评测集要提前准备,包含:

类型例子作用
明确问题"退货流程是什么" → 应命中《退货政策》测基础召回
同义改写"怎么退钱" → 同上测语义泛化
长尾问题"跨境订单退货运费谁承担"测细粒度区分
干扰测试问退款,库里有一堆"退款流程变更通知"测噪声抵抗

指标用 recall@k(top-k 里有没有正确答案)和 MRR(正确答案排第几)。不要只看 top-1 准确率——真实系统里 top-5 都是要喂给模型的。

这一步的意义是:如果新模型在你的数据上并不比旧的好,那就别切。榜单分数不等于你的业务效果。

3.4 阶段四:灰度切流

评估通过后,按流量比例切:

def choose_index(user_id: str) -> str:
    if rollout_percent <= 0:
        return "kb_v3_bge_large"
    if rollout_percent >= 100:
        return "kb_v3_bge_m3"
    # 按用户哈希,保证同一用户始终用同一索引,避免体感忽好忽坏
    bucket = int(hashlib.md5(user_id.encode()).hexdigest()[:8], 16) % 100
    return "kb_v3_bge_m3" if bucket < rollout_percent else "kb_v3_bge_large"

按用户哈希而不是按请求哈希,这点很重要。按请求分流会让同一个用户这次用新索引、下次用旧索引,一旦两者效果有差异,用户会觉得系统"时好时坏",反馈也没法归因。

灰度期间盯两个指标:检索命中率(有反馈的)、以及下游回答质量。发现问题就把 rollout_percent 调回 0——这也是为什么旧索引必须保留一段时间。

四、阈值必须重新标定

这一条最容易被忽略,而且后果很直接。

很多 RAG 系统里有一个相似度阈值,低于它就认为"没有相关内容",回答"我不知道"。

docs = search(q, top_k=5)
docs = [d for d in docs if d.score >= 0.75]     # ← 这个 0.75 是标定出来的
if not docs:
    return "知识库中未找到相关信息"

不同模型的分数分布完全不同。 模型 A 的"相关"可能是 0.78,模型 B 的"相关"可能是 0.52。换模型不重标阈值,会出现两种极端:

阈值没重标后果
新模型分数普遍偏低大量本该回答的问题被判"没找到",答出率暴跌
新模型分数普遍偏高噪音全被当成相关内容,回答开始胡编

标定方法:取评测集,分别用新旧模型算出相关/不相关样本的分数分布,选一个能分开两类分布的值(通常取两个分布的交界处,而不是拍脑袋的 0.75)。

这一步没做,前三个阶段的努力会被一个数字毁掉。

五、成本要提前算

重建全库不是免费的。三个维度:

维度怎么估
embedding 调用费总条数 × 平均 token 数 × 单价。注意长文档要切块,块数远多于文档数
时间批处理吞吐 × 总块数。100 万块按每秒 50 块算,约 5.5 小时
索引重建HNSW 建索引本身很吃 CPU,建 100 万条的索引可能要几十分钟到数小时

不要试图"只重建最近 3 个月的数据"。这会导致旧数据在新索引里根本不存在,检索结果随机缺失一部分。要么全建,要么不建。

如果成本太高,有一个折中:只对高频访问的文档优先重建,剩下的按需重建。但这要求检索层能处理"部分文档暂时不可用",复杂度反而更高。多数情况下不如老老实实全量重建一次。

六、索引元数据:必须写,不然半年后没人知道

这一节是经验教训。一个索引如果只存了向量,没存"它是哪个模型、什么参数生成的",半年后接手的人会非常痛苦:

  • 想换模型,不知道现有的是哪个
  • 分数不对劲,不知道当时归一化没有
  • 想复用,不知道距离度量是 cosine 还是 l2

必须在索引创建时写入元数据:

{
  "collection": "kb_v3_bge_m3",
  "model": "bge-m3",
  "model_version": "1.0",
  "dimension": 1024,
  "normalize": true,
  "metric": "cosine",
  "max_input_tokens": 8192,
  "chunk_strategy": "fixed-512-overlap-64",
  "built_at": "2026-10-28T10:00:00+08:00",
  "doc_count": 128430
}

chunk_strategy 也要记——因为切块方式变了,向量含义也变了。同样 512 token 的块,重叠 0 和重叠 64,语义完整性差别很大。如果只换切块策略不换模型,一样需要重建。

七、带版本校验的检索封装

最后是代码。核心思路:把"模型 + 索引"绑成一个不可拆的组合,用错就直接报错,而不是静默返回垃圾结果。

import hashlib
from dataclasses import dataclass


@dataclass(frozen=True)
class IndexSpec:
    collection: str
    model: str
    dimension: int
    normalize: bool
    metric: str

    def fingerprint(self) -> str:
        raw = f"{self.model}|{self.dimension}|{self.normalize}|{self.metric}"
        return hashlib.sha256(raw.encode()).hexdigest()[:12]


class Embedder:
    def __init__(self, name: str, dim: int, normalize: bool = True):
        self.name = name
        self.dim = dim
        self.normalize = normalize

    def encode(self, texts: list[str]) -> list[list[float]]:
        vecs = _call_model(self.name, texts)
        if self.normalize:
            vecs = [_l2_normalize(v) for v in vecs]
        return vecs


class VectorStore:
    def __init__(self, spec: IndexSpec, embedder: Embedder):
        # ⚠️ 启动时就校验,不要等到检索出问题才发现
        if spec.model != embedder.name:
            raise RuntimeError(
                f"索引由 {spec.model} 构建,当前 embedder 是 {embedder.name};"
                f"跨模型检索无意义,请重建索引或换回原模型"
            )
        if spec.dimension != embedder.dim:
            raise RuntimeError(
                f"维度不匹配:索引 {spec.dimension},模型 {embedder.dim}"
            )
        self.spec = spec
        self.embedder = embedder

    def search(self, query: str, top_k: int = 5, min_score: float | None = None):
        [qv] = self.embedder.encode([query])
        hits = _ann_search(
            collection=self.spec.collection,
            vector=qv,
            top_k=top_k,
            metric=self.spec.metric,
        )
        # 阈值必须来自这个索引的标定结果,不能跨索引复用
        if min_score is not None:
            hits = [h for h in hits if h.score >= min_score]
        return hits


def _l2_normalize(v):
    norm = sum(x * x for x in v) ** 0.5 or 1.0
    return [x / norm for x in v]

启动时的校验比运行时的排查便宜得多。宁可启动失败,也不要静默返回错误结果——这是全文最重要的一条工程原则。

做了什么

迁移一次 embedding 的完整流程,实际执行下来:

  1. 提前准备了 120 条评测集(含明确问题、同义改写、长尾、干扰四类)
  2. 起了影子索引,后台全量回填 + 线上双写
  3. 影子索引填满后跑评测,对比 recall@5 和 MRR
  4. 按用户哈希灰度,从 5% 逐步放到 100%,历时一周
  5. 相似度阈值重新标定——这一步一开始忘了,导致灰度到 20% 时答出率下降,回头才发现
  6. 旧索引保留两周才下线

第 5 点是真踩的坑。前四步都做了,就因为阈值没重标,灰度的 20% 用户答出率明显下降,还以为是新模型不行。后来把两个模型的相关/不相关分数分布画出来,才看到分布整体下移了。

一些体会

"换个模型"这四个字,隐藏的工作量是"重建一个数据资产"。 向量库不是配置,是数据和模型的联合产物。模型变了,产物就作废了。

归一化和跨模型兼容是两个不相干的问题。 前者是数值处理,后者是空间一致性。把归一化当成"兼容处理"是常见的误解。

阈值比模型更容易被忘。 因为它在一个不起眼的常量里,而换模型时所有人的注意力都在模型名上。建议把阈值写进索引元数据旁边,换模型时强制走一遍标定流程。

元数据缺失的代价是延迟发生的。 建库那一刻觉得"多此一举",半年后接手的人要为这个"多此一举"付出几天时间。而写元数据的成本是十行代码。

最后一条判断标准:如果一次模型升级,你无法回答"新模型在我的数据上比旧模型好在哪",那这次升级就不该做。榜单分数是别人的数据,你的召回率才是你的。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。