客户把「对象存储」和 OBS 当成两个产品:知识图谱接进检索后,同义实体召回从 54% 涨到 88%

举报
yd_238528621 发表于 2026/11/12 18:10:54 2026/11/12
【摘要】 知识库里有篇文档上线五个月零命中,而同一产品的报错工单每天都有。本文对比纯向量、别名表前置、离线建图加图扩展、在线抽三元组四条路线,在 120 道真实工单题上给出命中率、单次成本与 P95 延迟,说明为什么两跳反而更差、枢纽节点为何必须剪枝,最后给出三条判断要不要上知识图谱的判据。

做知识库巡检时,我把文档按「被检索命中次数」倒着排了一遍。最底下那篇叫《对象存储服务权限配置指南》,上线五个月,命中 0 次。同期工单里问 OBS 报 403 的,有 217 条。

原因不复杂:文档通篇写「对象存储服务」,用户提问写「OBS」,两者在向量空间里离得够远,检索没把它俩当成同一件事。工单里还散着 obsutil、Object Storage Service、桶策略这几个写法,指的是同一套东西。

这次没有再调 embedding,而是把知识图谱接进检索链路试了一遍。

一、先量清「同一个东西的不同叫法」有多少

不先量规模就动手,等于凭感觉评估收益。口径是 8700 条历史工单加 260 篇产品文档,规则抽候选别名,再人工过一遍。

  • 确认 186 条别名映射,「对象存储服务 / OBS / obsutil」这一组占 11 条
  • 最高频的错配是产品名与缩写:ECS 与弹性云服务器、ELB 与弹性负载均衡这一形态,共 63 组
  • 另一类是层级错位:工单写「服务器」,文档拆成「计算 > 云服务器 > 规格族」三级

这 186 条做成对照表、检索前做一层查询改写,是最便宜的一招。仅此一步,top-5 命中就从 54.2% 拉到 71.7%。但它只治「叫法」,不治「关系」。

二、四条路线各自怎么接进去

四套方案跑同一条链路、同一批文档、同一个模型版本,差别只在检索层:

  • 路线 A · 纯向量基线:文档切 512 token,top-8 直接拼进上下文
  • 路线 A+ · 别名表前置:A 前面加查询改写,命中别名就补一次检索
  • 路线 B · 离线建图 + 查询图扩展:离线把文档抽成三元组、实体对齐后入库(3.1 万个实体、8.7 万条边);查询时识别实体,向 1 跳取邻居,把邻居对应的原文段落一起送进上下文
  • 路线 C · 在线抽三元组:不建库,每次提问让模型现抽实体与关系,再拿关系词去检索原文

建图那步跑了 47 分钟,抽完人工校三轮,删掉 412 条错边。错法很集中:原文「OBS 依赖 IAM 完成鉴权」被抽成「OBS 属于 IAM」,一句方向反了的边。

三、120 道真实工单题上的四组数字

题目从工单里取,人工标注正确文档,判定只看一件事:正确文档在不在 top-5。

  • A:65/120,54.2%;单次 0.0013 元;P95 2.8 秒
  • A+:86/120,71.7%;单次 0.0015 元;P95 3.0 秒
  • B:106/120,88.3%;单次 0.0021 元;P95 4.6 秒
  • C:79/120,65.8%;单次 0.0058 元;P95 9.7 秒

先看被寄予厚望的 C。每问一次都要现场抽一遍关系,单次成本是 B 的 2.8 倍,延迟是 B 的两倍多,命中率却只比别名表高不到 3 个百分点。同一份文档被反复重新解读,抽出来的关系每次略有出入,检索稳定性反而变差。在线抽取适合一次性探索,不适合天天跑的链路。

四、B 多拿的 16.6 个点,主要来自邻居段落

把 B 与 A+ 的差异逐题打开,找回来的 20 道题分两类:

  • 12 道答案在邻居段落:问「上传大文件报 403」,正确文档是《临时 AK/SK 过期》那一节,检索先命中的是《桶策略配置》。两个节点在图上相邻,一跳就把那段带了进来
  • 8 道跨了文档类型:产品文档讲现象,工单解决记录讲修法,标题毫无相似度,只有共同实体把它们连上

两类说明同一件事:图的价值不在把实体认得准,而在把它连到周围被切走的上下文。纯靠相似度,边界只能落在段落上;靠图,边界能落在关系上。代价是上下文 token 从 2400 涨到 5100。

五、跳数不是越多越好,两跳会往回掉

固定邻居上限 16,只改跳数:

  • 1 跳:88.3%;P95 4.6 秒
  • 2 跳:82.5%;P95 5.9 秒 —— 掉回来了
  • 3 跳:74.2%;P95 7.8 秒

抽了一个错例:问「OBS 跨账号访问怎么配」,两跳路径经过 IAM 这个枢纽节点(度数 1340),一路连到「IAM 委托」「IAM 联邦身份」,答案被带偏成跨账号委托配置。枢纽节点度数大,两跳等于给无关路径开了后门。

加枢纽剪枝(度数超过 500 的节点不参与扩展)后,2 跳回到 86.7%,仍比 1 跳低 1.6 个点,所以最终留 1 跳。邻居上限最优在 16:8 时 84.2%,24 时 87.5% 而延迟升到 6.2 秒。

六、一张图的维护成本

一次性投入:47 分钟抽取、三轮人工校对约 6 小时、调用约 26 元。真正的成本是那 6 小时校对,且降不下来——412 条错边里 389 条是方向错误,自动校验发现不了。

增量便宜得多:每周新增 5 篇的量级下,每天增量更新约 3 分钟、0.4 元。但文档量放大到 2000 篇、每周进 80 篇,人工校对就跟不上,只剩两条路:只给高频实体建图,或放弃校对、靠检索层兜住错边。

七、三个判据,决定要不要上图

按顺序问,任何一条否定就别上图:

  • 关键词是强实体吗?产品名、型号、错误码、组件名算,客服与运维手册算;开放式观点问答不算,那里没有稳定实体可连。
  • 别名混乱真的存在吗?候选别名拉出来看分布:90% 只出现过一次,那是长尾,一张别名表加查询改写就够,建图的收益撑不起维护成本。
  • 答案是否需要跨段落或跨文档拼接?单段即可回答的问题,图扩展只是把上下文撑大、延迟抬高,命中率不变。

三条都过,再按「先别名表、再离线建图、最后调跳数与剪枝」的顺序落。反过来做,就会在没量清别名时先建一张 8.7 万条边的图,然后在错误方向上优化跳数。

小结

三条经验:先量别名再决定建图,别名的收益占比往往被低估;图的价值在多跳与跨文档,不在实体识别本身;跳数必须配枢纽剪枝,否则两跳会顺着大度数节点跑到无关产品上去。最终这条链路落在 88.3%、单次 0.0021 元、P95 4.6 秒,代价是上下文翻倍、延迟多 1.8 秒。在「答错就要重开一张工单」的场景里这个交换划算,换成日均十万次的开放问答就未必。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。