客户把「对象存储」和 OBS 当成两个产品:知识图谱接进检索后,同义实体召回从 54% 涨到 88%
做知识库巡检时,我把文档按「被检索命中次数」倒着排了一遍。最底下那篇叫《对象存储服务权限配置指南》,上线五个月,命中 0 次。同期工单里问 OBS 报 403 的,有 217 条。
原因不复杂:文档通篇写「对象存储服务」,用户提问写「OBS」,两者在向量空间里离得够远,检索没把它俩当成同一件事。工单里还散着 obsutil、Object Storage Service、桶策略这几个写法,指的是同一套东西。
这次没有再调 embedding,而是把知识图谱接进检索链路试了一遍。
一、先量清「同一个东西的不同叫法」有多少
不先量规模就动手,等于凭感觉评估收益。口径是 8700 条历史工单加 260 篇产品文档,规则抽候选别名,再人工过一遍。
- 确认 186 条别名映射,「对象存储服务 / OBS / obsutil」这一组占 11 条
- 最高频的错配是产品名与缩写:ECS 与弹性云服务器、ELB 与弹性负载均衡这一形态,共 63 组
- 另一类是层级错位:工单写「服务器」,文档拆成「计算 > 云服务器 > 规格族」三级
这 186 条做成对照表、检索前做一层查询改写,是最便宜的一招。仅此一步,top-5 命中就从 54.2% 拉到 71.7%。但它只治「叫法」,不治「关系」。
二、四条路线各自怎么接进去
四套方案跑同一条链路、同一批文档、同一个模型版本,差别只在检索层:
- 路线 A · 纯向量基线:文档切 512 token,top-8 直接拼进上下文
- 路线 A+ · 别名表前置:A 前面加查询改写,命中别名就补一次检索
- 路线 B · 离线建图 + 查询图扩展:离线把文档抽成三元组、实体对齐后入库(3.1 万个实体、8.7 万条边);查询时识别实体,向 1 跳取邻居,把邻居对应的原文段落一起送进上下文
- 路线 C · 在线抽三元组:不建库,每次提问让模型现抽实体与关系,再拿关系词去检索原文
建图那步跑了 47 分钟,抽完人工校三轮,删掉 412 条错边。错法很集中:原文「OBS 依赖 IAM 完成鉴权」被抽成「OBS 属于 IAM」,一句方向反了的边。
三、120 道真实工单题上的四组数字
题目从工单里取,人工标注正确文档,判定只看一件事:正确文档在不在 top-5。
- A:65/120,54.2%;单次 0.0013 元;P95 2.8 秒
- A+:86/120,71.7%;单次 0.0015 元;P95 3.0 秒
- B:106/120,88.3%;单次 0.0021 元;P95 4.6 秒
- C:79/120,65.8%;单次 0.0058 元;P95 9.7 秒
先看被寄予厚望的 C。每问一次都要现场抽一遍关系,单次成本是 B 的 2.8 倍,延迟是 B 的两倍多,命中率却只比别名表高不到 3 个百分点。同一份文档被反复重新解读,抽出来的关系每次略有出入,检索稳定性反而变差。在线抽取适合一次性探索,不适合天天跑的链路。
四、B 多拿的 16.6 个点,主要来自邻居段落
把 B 与 A+ 的差异逐题打开,找回来的 20 道题分两类:
- 12 道答案在邻居段落:问「上传大文件报 403」,正确文档是《临时 AK/SK 过期》那一节,检索先命中的是《桶策略配置》。两个节点在图上相邻,一跳就把那段带了进来
- 8 道跨了文档类型:产品文档讲现象,工单解决记录讲修法,标题毫无相似度,只有共同实体把它们连上
两类说明同一件事:图的价值不在把实体认得准,而在把它连到周围被切走的上下文。纯靠相似度,边界只能落在段落上;靠图,边界能落在关系上。代价是上下文 token 从 2400 涨到 5100。
五、跳数不是越多越好,两跳会往回掉
固定邻居上限 16,只改跳数:
- 1 跳:88.3%;P95 4.6 秒
- 2 跳:82.5%;P95 5.9 秒 —— 掉回来了
- 3 跳:74.2%;P95 7.8 秒
抽了一个错例:问「OBS 跨账号访问怎么配」,两跳路径经过 IAM 这个枢纽节点(度数 1340),一路连到「IAM 委托」「IAM 联邦身份」,答案被带偏成跨账号委托配置。枢纽节点度数大,两跳等于给无关路径开了后门。
加枢纽剪枝(度数超过 500 的节点不参与扩展)后,2 跳回到 86.7%,仍比 1 跳低 1.6 个点,所以最终留 1 跳。邻居上限最优在 16:8 时 84.2%,24 时 87.5% 而延迟升到 6.2 秒。
六、一张图的维护成本
一次性投入:47 分钟抽取、三轮人工校对约 6 小时、调用约 26 元。真正的成本是那 6 小时校对,且降不下来——412 条错边里 389 条是方向错误,自动校验发现不了。
增量便宜得多:每周新增 5 篇的量级下,每天增量更新约 3 分钟、0.4 元。但文档量放大到 2000 篇、每周进 80 篇,人工校对就跟不上,只剩两条路:只给高频实体建图,或放弃校对、靠检索层兜住错边。
七、三个判据,决定要不要上图
按顺序问,任何一条否定就别上图:
- 关键词是强实体吗?产品名、型号、错误码、组件名算,客服与运维手册算;开放式观点问答不算,那里没有稳定实体可连。
- 别名混乱真的存在吗?候选别名拉出来看分布:90% 只出现过一次,那是长尾,一张别名表加查询改写就够,建图的收益撑不起维护成本。
- 答案是否需要跨段落或跨文档拼接?单段即可回答的问题,图扩展只是把上下文撑大、延迟抬高,命中率不变。
三条都过,再按「先别名表、再离线建图、最后调跳数与剪枝」的顺序落。反过来做,就会在没量清别名时先建一张 8.7 万条边的图,然后在错误方向上优化跳数。
小结
三条经验:先量别名再决定建图,别名的收益占比往往被低估;图的价值在多跳与跨文档,不在实体识别本身;跳数必须配枢纽剪枝,否则两跳会顺着大度数节点跑到无关产品上去。最终这条链路落在 88.3%、单次 0.0021 元、P95 4.6 秒,代价是上下文翻倍、延迟多 1.8 秒。在「答错就要重开一张工单」的场景里这个交换划算,换成日均十万次的开放问答就未必。
- 点赞
- 收藏
- 关注作者
评论(0)