让机器人“看懂”图片——语流Agent多模态识别能力全解

随着电商购物中消费者以“图片”作为咨询入口的场景日益普遍（如晒单求同款、截图问参数、拍照反馈售后问题），传统文本机器人因无法理解图片而大量漏回复或答非所问。语流Agent基于多模态大模型与OCR技术，将图片识别作为标准标品能力全量交付，无需定制开发，开箱即用。本文档系统介绍该能力的功能框架、核心场景、技术优势、覆盖范围及常见问题，为产品选型与内部评估提供全面参考。

一、能力概览（标品全量交付）

标品全量交付 — 图片识别能力作为标准产品能力全量应用，无需定制开发，开箱即用

多平台覆盖 — 图片识别已覆盖语流支持的主流电商平台

全 Agent 覆盖 — 内置售前、售后各 Agent 均支持图片识别能力（除智能尺码推荐外）

多模态融合 — 图片 + 文字 + 订单 + 历史对话综合理解，回复更精准

真实客户验证 — 已在多个不同行业品牌店铺实际应用，效果可验证

二、三大核心能力

1. 图片智能导购 · 以图搜款

顾客发小红书穿搭图、商品截图问同款？Agent 秒级识别图片中的商品特征，从店铺商品库中精准匹配同款 / 相似款，3 秒内给出商品推荐与链接，大幅缩短顾客决策路径。

适配服饰鞋包、家居家装、家电数码等多个类目

支持同款精准匹配 + 相似款智能推荐

直接推送商品链接，一键直达购买页

备注：语流Agent「图片智能导购」能力介绍 - 目前是小部分客户灰度使用中

2. 商品信息解读 · 专业答疑

顾客发商品截图问参数、比功能？Agent 自动识别图片中的型号、规格、接口等信息，结合商品知识库进行专业解答，堪比资深导购的专业度。

识别产品规格、型号、颜色、价格等关键信息

多商品对比：自动总结核心差异与卖点

3C 数码、小家电、食品等多行业适用

3. 售后场景辅助 · 智能排障

顾客发破损图、少件图、故障图反馈问题？Agent 结合图片内容与历史对话，精准识别异常类型，引导顾客确认信息或按流程排障，提升售后处理效率。

收货异常识别：破损、少件、错发自动判断

故障问题处理：按售后流程引导排障

质保期咨询：订单截图自动识别，智能判断在保状态

三、应用场景案例

🔹 售前场景

🔹 售后场景

🔹 通用场景

四、技术优势与完整应答链路

技术优势

多模态大模型：融合视觉理解与 OCR 文字识别，精准提取图片中的商品主体、规格参数、文字信息

上下文理解：图片 + 文字 + 历史对话 + 订单信息综合判断，避免单图歧义，回复更精准

秒级响应：以图搜款 3 秒内完成匹配，回复话术自动生成，顾客无需等待

完整应答链路（标品全量应用）

应答环节核心能力关键技术解决的问题应用范围图片内容解析识别商品主体、规格参数、文字信息（如型号、颜色、屏幕显示、价格）多模态大模型、OCR 文字识别传统机器人“看不懂图”，无法基于图片内容回复标品全量多模态对话理解结合图片内容与用户的文字提问、上下文对话、焦点商品、订单信息进行综合判断，生成回复上下文理解、意图识别单纯图片识别可能存在歧义，需结合文本上下文提升准确性标品全量回复话术生成基于识别结果，生成结构化的商品对比、规格差异说明、场景化推荐建议等专业回复文案生成、结构化输出回复内容需专业、清晰，帮助用户快速决策标品全量应用场景：售前（商品检索与匹配 - 以图搜图）从店铺商品库中，快速检索并匹配图片中识别到的同款或相似款商品向量检索、商品特征提取人工翻图库耗时5-10分钟，Agent可在3秒内完成匹配标品全量应用场景：售后（收货异常识别）在售后收货异常场景中，结合历史聊天图片，识别问题（如少件、破损、错发）并辅助判断特定场景图片分析提升售后问题处理的自动化程度和准确性标品全量

五、覆盖平台与行业

全平台支持

图片识别能力已作为标准产品能力全量应用，覆盖主流电商平台：
淘宝、京东、抖音、拼多多、得物、小红书、微信小店、快手、唯品会

多行业适用

行业典型应用场景👗 服饰鞋包以图搜款、穿搭推荐📱 数码 3C参数对比、功能解读🏠 家居家装款式匹配、规格咨询🍳 小家电故障排障、质保咨询

六、常见问题解答（FAQ）

1. 目前图片回复能力是否已经作为标准功能交付给商家使用？还是更多应用在标杆客户、POC 或定制项目中？如果已有真实商家在用，是否可以提供脱敏案例或量化结果，比如图片识别准确率、自动回复率、人工审核通过率、转人工率、售后处理时长变化等。

答：

目前图片识别能力是作为标准产品能力全量应用于所有商家的agent应答，图片识别能力分两个层面：

覆盖范围：多平台（淘宝、京东、抖音、拼多多、得物、小红书）、全 Agent（除智能尺码推荐）支持识别用户发来的图片，并结合用户的问题进行精准回复。

图片识别准确率没有单独的指标，最终看的是「回复率」，因为图片识别后，agent还要结合上下文、订单、商品等信息综合评估再生成回复话术。

人工审核通过率 - 没有单独统计，这个取决于不同客服的使用习惯，目前大部分客户是开的自动发送。

转人工率 - 根据不同的场景，部分场景Agent只是承担了售后问题的前置信息收集，最终都还是会由人工参与。

售后处理时长变化 - 暂无对比数据

2. 图片能力目前支持哪些具体场景？例如订单截图、物流截图、好评截图、开票信息截图、吊牌/洗标图、商品破损/缺件图等，分别能做到识别、字段抽取、自动回复、人工审核、建工单或转人工中的哪一步？

答：

应答方式支持自行选择：「Agent自动回复」 或 「人工手动采纳后回复」，语流标品是主要在应答阶段，如果无法回复的问题会亮黄提醒人工跟进。

⚠️ 如需进一步建工单，要配合售后工单使用，非语流标品能力。

核心应用场景与能力

图片智能导购：针对顾客拿图问款场景，可实现图片秒懂、店铺内快速检索、同款精准匹配、多模态理解，3 秒内从店铺商品库中找到同款 / 相似款推荐给顾客，适配服饰鞋包、家居家装、家电数码等多个类目。

商品信息解读：可识别图片中的产品规格、总结核心差异及卖点，结合用户问题进行专业解答，如在 3C 数码场景中，能识别商品截图并对比两款产品的接口配置和功能差异。

售后场景辅助：售后收货异常 Agent 可结合历史聊天中的图片内容，理解顾客反馈的问题，辅助判断异常情况，例如识别顾客图片中标注的缺失配件信息，引导顾客进一步确认。

3. 想确认一下您发给我们的 4 月案例图，回复生成链路具体是什么：AI 输入里除了图片本身，是否还结合了当前咨询商品、商品知识库、店铺知识、历史会话或预设规则？最终回复是基于图片理解直接生成，还是图片识别后命中知识库/规则，再由语流或毕昇生成回复？

答：
Agent输入包含：图片预处理后的信息、当前焦点商品、商品知识库、店铺政策知识、焦点订单数据、历史对话。
在图片解析后，语流Agent 结合用户发的文字信息、历史会话、订单信息、商品信息等信息，生成最终的回复，并不是直接基于图片理解生成的，因为即使对于人工客服来说，也很难判断客户发过来的一张图片想表达什么意图，往往都需要结合客户的上下文进行理解后再回复。

应答链路（再次明确，与上文表格一致）：

应答环节核心能力关键技术点解决的核心问题应用范围图片内容解析识别图片中的商品主体、规格参数、文字信息（如型号、颜色、屏幕显示、价格）多模态大模型、OCR文字识别传统机器人“看不懂图”，无法基于图片内容回复标品全量多模态对话理解结合图片内容与用户的文字提问、上下文对话、焦点商品、订单信息，进行综合判断，生成回复上下文理解、意图识别单纯图片识别可能存在歧义，需结合文本上下文提升准确性标品全量回复话术生成基于识别结果，生成结构化的商品对比、规格差异说明、场景化推荐建议等专业回复文案生成、结构化输出回复内容需专业、清晰，帮助用户快速决策标品全量应用场景：售前（商品检索与匹配 - 以图搜图）从店铺商品库中，快速检索并匹配图片中识别到的同款或相似款商品向量检索、商品特征提取人工翻图库耗时5-10分钟，Agent可在3秒内完成匹配标品全量应用场景：售后（收货异常识别）在售后收货异常场景中，结合历史聊天图片，识别问题（如少件、破损、错发）并辅助判断特定场景图片分析提升售后问题处理的自动化程度和准确性标品全量

4. 案例中的 AI 回复是线上真实客户会话里的自动发送结果，还是客服侧的建议回复/人工审核后发送？如果方便，希望能看一下完整链路：客户发图、系统识别结果、AI 回复、是否人工介入、最终处理结果。

答：
所有案例都是线上真实客户的会话，都是自动发送的，只要看到抬头是「语流Agent消息」的，都是agent自动回复的。

我们不是要求所有图片都自动处理，主要是想判断当前能力是“可自动闭环”“辅助客服判断”，还是“仍需定制/人工兜底”，这样方便我们内部做选型评估。

售后场景 - 可自动闭环、不需要人工介入，比如：物流状态咨询（自动同步平台的物流信息回复），Agent 引导客户自行申请退货、换货，引导客户自行申请发票等。

售后场景 - 辅助人工收集必要信息，再转由人工处理、需要人工介入，比如：赠品登记、好评返现/红包补偿、货损协商赔偿（前置收集货损照片、再交由人工客户最终确认补偿金额）。