多 Agent 系统的信号协议设计缺陷:对「AI 面试天团」的全链路静态审读
摘要:本文对一个基于 WorkSwarm 框架的多 Agent 面试系统做静态审读,聚焦 Agent 间的信号协议设计。实测发现 23 个信号标识符中有 12 个在 Leader 侧完全没有接收定义,数据字段在交接链路上逐层丢失,且协议缺少转义与类型约束。本文给出可复现的审计方法与修复路径。
---
一、项目概述
AI 面试天团(1003 star / 405 issue)部署在华为云 AI 开发者空间,用 5 个 Agent 完成端到端面试流程。
技术形态值得注意:它不是代码工程,是提示词工程。全部编排逻辑存在于 5 个 Markdown 文件里,总计 1146 行:
┌──────────────────────────────────────────────┬──────┬────────────────────────────┐
│ 文件 │ 行数 │ 职责 │
├──────────────────────────────────────────────┼──────┼────────────────────────────┤
│ Skills/interview-orchestrator/SKILL.md │ 247 │ Leader,状态机与唯一发言人 │
├──────────────────────────────────────────────┼──────┼────────────────────────────┤
│ Skills/technical-interview-officer/SKILL.md │ 251 │ 技术面试,5 题 │
├──────────────────────────────────────────────┼──────┼────────────────────────────┤
│ Skills/hr-interview-officer/SKILL.md │ 250 │ HR 面试,3 题 │
├──────────────────────────────────────────────┼──────┼────────────────────────────┤
│ Skills/general-chat-officer/SKILL.md │ 236 │ 破冰 2–3 轮 │
├──────────────────────────────────────────────┼──────┼────────────────────────────┤
│ Skills/talent-assessment-specialist/SKILL.md │ 162 │ 加权算分,生成 HTML 报告 │
└──────────────────────────────────────────────┴──────┴────────────────────────────┘
Agent 间通过竖线分隔的纯文本信号通信,没有 JSON、没有 Schema、没有函数签名。
---
二、协议设计的合理之处
先说不该批评的地方。
2.1 单播约束
interview-orchestrator/SKILL.md:26-27:
## Rule 1: YOU Are the ONLY Speaker
Only YOU can communicate directly with the user. Teammate Agents do NOT
speak to the user. They send signals to YOU, and YOU relay their messages.
多 Agent 系统最典型的失败是并发抢答。用单播把「谁对用户说话」收敛到一个节点,是正确的工程选择。
2.2 严格的交接顺序
:49-55 定义了固定激活序列,且明令禁止并行:
## Rule 5: Agent Activation Order (FIXED)
1. General Chat Officer (ice-breaking)
2. Technical Interview Officer (technical interview)
3. HR Interview Officer (HR interview)
4. Talent Assessment Specialist (report generation)
You CANNOT skip steps. You CANNOT reorder steps. You CANNOT run steps in parallel.
这在提示词层面已经是能做到的最强约束。
---
三、核心发现:信号协议是单向的
这是本文的主要技术结论。
我抽取了 5 个 SKILL.md 中出现的大写信号标识符,逐个统计其在各文件的出现次数(词边界匹配,避免 STATUS_READY 命中 STATUS_READY_FOR_X)。完整结果:
┌─────────────────────────────┬──────────────┬─────┬──────────────┬────────┬───────────┐
│ 信号 │ general-chat │ hr │ orchestrator │ talent │ technical │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ CONTROL_RETURN │ 14 │ 11 │ 31 │ 0 │ 8 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ PROGRESS_REPORT │ 0 │ 12 │ 3 │ 0 │ 7 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ HEARTBEAT │ 0 │ 0 │ 1 │ 0 │ 6 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ TECHNICAL_SCORING_DATA │ 0 │ 0 │ 2 │ 0 │ 4 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ HR_SCORING_DATA │ 0 │ 6 │ 1 │ 0 │ 0 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ REPORT_READY │ 0 │ 0 │ 5 │ 5 │ 0 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ ASSESSMENT_DATA │ 0 │ 0 │ 2 │ 8 │ 0 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ CANDIDATE_NO_RESPONSE │ 0 │ 0 │ 0 │ 0 │ 5 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ READY_CONFIRMED │ 11 │ 0 │ 0 │ 0 │ 0 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ DOMAIN_CONFIRMED │ 0 │ 0 │ 0 │ 0 │ 7 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ TECHNICAL_INTERVIEW_STARTED │ 0 │ 0 │ 0 │ 0 │ 5 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ HR_INTERVIEW_STARTED │ 0 │ 4 │ 0 │ 0 │ 0 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ TIMEOUT_PARTIAL_RECORD │ 0 │ 1 │ 0 │ 0 │ 1 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ KNOWLEDGE_BASE_NOT_FOUND │ 2 │ 3 │ 0 │ 0 │ 1 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ STATUS_FAILED │ 0 │ 2 │ 0 │ 0 │ 1 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ STATUS_DOMAIN_NOT_FOUND │ 0 │ 0 │ 0 │ 0 │ 1 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ DATA_INCOMPLETE │ 0 │ 0 │ 0 │ 3 │ 0 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ TEMPLATE_NOT_FOUND │ 0 │ 0 │ 0 │ 2 │ 0 │
├─────────────────────────────┼──────────────┼─────┼──────────────┼────────┼───────────┤
│ ERROR │ 2 │ 4 │ 0 │ 7 │ 1 │
└─────────────────────────────┴──────────────┴─────┴──────────────┴────────┴───────────┘
23 个信号标识符中,12 个只在子 Agent 侧出现、Leader 侧出现 0 次。
最要紧的是最后四行:
ERROR —— general-chat 发 2 次、hr 发 4 次、talent 发 7 次、technical 发 1 次,Leader 0 次
KNOWLEDGE_BASE_NOT_FOUND —— 三个面试官都发,Leader 0 次
STATUS_FAILED —— 两个面试官发,Leader 0 次
DATA_INCOMPLETE —— 测评专员发,Leader 0 次
四路子 Agent 都有明确的失败路径与失败信号定义,但 Leader 的 247 行里没有任何一句说明收到这些信号该怎么办。
结果是:知识库文件缺失时,面试官会发 ERROR|KNOWLEDGE_BASE_NOT_FOUND|TECHNICAL 然后按规范停止输出;Leader 不认识这个 token,继续按 Rule 4 无限等待 CONTROL_RETURN。这一类卡死没有任何超时兜底——Leader 唯一的超时处理是 :108-111
的心跳重置定时器,而定时器本身没有阈值。
3.1 心跳机制覆盖不均
HEARTBEAT 在 technical 出现 6 次,定义了 15 秒周期;在 hr 出现 0 次。
两个面试官的超时策略对比如下:
┌──────────┬───────────────────────────────────┬─────────────────┐
│ │ 技术面试官 │ HR 面试官 │
├──────────┼───────────────────────────────────┼─────────────────┤
│ 单题超时 │ 30 秒 + 20 秒两段重试(:150-165) │ 未定义 │
├──────────┼───────────────────────────────────┼─────────────────┤
│ 心跳周期 │ 15 秒(:107) │ 无 │
├──────────┼───────────────────────────────────┼─────────────────┤
│ 整体超时 │ 45 分钟(:222) │ 30 分钟(:224) │
├──────────┼───────────────────────────────────┼─────────────────┤
│ 超时产物 │ TIMEOUT_PARTIAL_RECORD │ 同上 │
└──────────┴───────────────────────────────────┴─────────────────┘
Leader 侧只定义了「收到心跳 → 重置定时器」,但没定义「HR 面试官不发心跳、候选人不作答」时怎么判断阻塞。这不是遗漏一处,是两套策略共用一套接收逻辑。
---
四、数据在链路中逐层丢失
系统唯一可视化产出是 report_template.html,明细表定义七列:
<th style="width:6%;">题号</th>
<th style="width:20%;">题目</th>
<th style="width:12%;">考察目的</th>
<th style="width:18%;">候选人答案</th>
<th style="width:18%;">参考答案</th>
<th style="width:8%;">得分</th>
<th style="width:18%;">评分依据</th>
4.1 各环节实际字段数
沿链路走一遍,字段数在每一步都在缩水:
┌────────────────┬──────────────────────────┬────────┬────────────────────────────────────────────────────────────────────────────────────────┐
│ 环节 │ 位置 │ 字段数 │ 内容 │
├────────────────┼──────────────────────────┼────────┼────────────────────────────────────────────────────────────────────────────────────────┤
│ 模板要求 │ report_template.html:257 │ 7 │ 题号/题目/考察目的/候选人答案/参考答案/得分/评分依据 │
├────────────────┼──────────────────────────┼────────┼────────────────────────────────────────────────────────────────────────────────────────┤
│ 测评专员接收 │ talent:30 │ 12 │ ...技术得分列表|技术总分|技术平均分|HR得分列表|HR总分|HR平均分|技术各题明细|HR各题明细 │
├────────────────┼──────────────────────────┼────────┼────────────────────────────────────────────────────────────────────────────────────────┤
│ 技术面试官发送 │ technical:196 │ 6 │ CandidateName|Position|ScoreList|TotalScore|Average|FilePath │
├────────────────┼──────────────────────────┼────────┼────────────────────────────────────────────────────────────────────────────────────────┤
│ HR 面试官发送 │ hr:63 │ 6 │ 候选人姓名|岗位名称|每题得分列表|总分|平均分|文件保存路径 │
├────────────────┼──────────────────────────┼────────┼────────────────────────────────────────────────────────────────────────────────────────┤
│ 面试官落盘 │ technical:182 / hr:136 │ 4 │ question number / full answer / score / justification │
└────────────────┴──────────────────────────┴────────┴────────────────────────────────────────────────────────────────────────────────────────┘
题目原文、考察目的、参考答案这三项,从落盘到信号到模板,没有任何一个环节定义过要保存或传递。
测评专员的兜底只有一行,talent:118:
If details are empty, use placeholder.
明细必然为空,因此必然走 placeholder。这不是异常分支,是主路径。
4.2 同一位置承载两种语义
technical:196 正常路径:
TECHNICAL_SCORING_DATA|[CandidateName]|[Position]|[ScoreList]|[TotalScore]|[Average]|[FilePath]
technical:226 超时路径:
TECHNICAL_SCORING_DATA|[PartialName]|[Position]|[CompletedScores]|[PartialTotal]|[PartialAverage]|TIMEOUT_PARTIAL_RECORD
第 7 个字段在正常情况下是文件路径,在超时情况下是状态标记字符串。
这是典型的用同一位置承载异构语义。下游若按「路径」语义处理,会拿到一个名为 TIMEOUT_PARTIAL_RECORD 的不存在的文件。没有类型系统可以拦住这件事——它只会在报告生成时表现为一个空表格或一个异常文件名。
4.3 协议无转义规定
talent:48-52 定义了明细的编码格式:
Q{序号}:{题目}|{考察目的}|{候选人答案}|{参考答案}|{得分}|{评分依据}
多题用 ;; 分隔
候选人答案位于第 3 个字段。而面试场景里,候选人完全可能回答:
这个接口用 GET|POST 都行,看语义
一个竖线,后面所有字段整体右移一位。整个 ;; 分组的字段边界全部错位。
我在 5 个 SKILL.md 中检索 escape / 转义 / 编码 / base64 / urlencode / 分隔符,无任何转义约定。
同一份文档里,hr:57-59 甚至给了一个关于特殊字符的示例:
Correct example (justification under 10 Chinese characters):
PROGRESS_REPORT|QUESTION_1|TOTAL_3|SCORE_8|动机清晰有规划
Incorrect example (justification too long, contains special characters):
PROGRESS_REPORT|QUESTION_1|TOTAL_3|SCORE_8|回答有深度,有真实经历支撑
而 hr:59 的写法恰好就是候选人的回答原文。作者已经意识到自由文本会破坏协议,但处理方式是「禁止使用」,而不是「定义转义」。
这在提示词工程里是常见做法,但它的失效是静默的——模型不会因为「回答里有个逗号」就报错。
---
五、常量与枚举的不一致
5.1 评级有两套阈值
talent:74-83:
Rating Standards:
- 8.0 and above: 强烈推荐
- 6.5 to 7.9: 推荐
- 5.0 to 6.4: 待定
- Below 5.0: 不推荐
Score Level Mapping
- Score >= 8.0: level=high, badge=excellent, label=优秀
- Score >= 6.5 and < 8.0: level=medium, badge=qualified, label=合格
- Score < 6.5: level=low, badge=poor, label=待提升
切点一致(8.0 / 6.5),但词表不同:推荐 vs 合格、待定 vs 待提升。两套映射分别对应 {综合评级} 和 {技术评级}/{HR评级} 两组占位符,一旦只改其中一处,报告会出现「评级=推荐、徽章=待提升」的组合。
5.2 示例数据的算术不自洽
talent:58:
REPORT_READY|张三|AI Agent工程师|7.8|推荐|D:\面试记录\综合评估\综合评估报告_张三_...
按 :71 的公式与 :72 的舍入规则:
Comprehensive Score = Technical Average * 0.7 + HR Average * 0.3
Round to one decimal place.
用 technical:219 与 hr:220 给出的两个示例均分(都是 7.6):
0.7 × 7.6 + 0.3 × 7.6 = 7.6 ≠ 7.8
示例值本身与公式不符。文档里的示范数据会被逐字照抄,这类错误会直接进入下游实现。
(验算脚本:8,7,6,9,8 → 求和 38、均值 7.60,与声明的 38 / 7.6 一致;错的是综合分那一步。)
5.3 HR 题数在同一文件内冲突
hr:56 写 TOTAL_3,hr:207 的完整示例写 TOTAL_5,:216 注释 continue for all 5 questions。
README:65 与知识库都是 3 题。SKILL 内部自相矛盾。(仓内 issue #624 已覆盖,此处仅记录。)
---
六、状态机自相矛盾
orchestrator:71:
You can only transition to TECH_ACTIVE from CHAT_ACTIVE after receiving CONTROL_RETURN
orchestrator:157(Phase 2 Step 8):
Step 8: Set state = IDLE
按字面执行,破冰结束(CHAT_ACTIVE → IDLE)后进入 Phase 3,而 Phase 3 要求前置状态为 CHAT_ACTIVE。orchestrator:161 甚至明确写着 Confirm state is IDLE (NOT CHAT_ACTIVE)——同一份文件里,迁移规则和迁移检查互相否定。
(仓内 issue #772 已覆盖。本文未在实际环境验证该矛盾是否真会阻断流程,仅记录静态文本冲突。)
---
七、可复现的审计方法
这套检查不依赖运行环境,纯静态文本即可完成,建议作为此类项目的提交前检查。
7.1 信号消费矩阵
import re, glob, os
SIGNALS = ["CONTROL_RETURN", "PROGRESS_REPORT", "HEARTBEAT", "ERROR",
"KNOWLEDGE_BASE_NOT_FOUND", "STATUS_FAILED", "READY_CONFIRMED"]
files = glob.glob("Skills/*/SKILL.md")
orch = open("Skills/interview-orchestrator/SKILL.md", encoding="utf-8").read()
for s in SIGNALS:
producers = []
for f in files:
if "orchestrator" in f:
continue
if re.search(r"(?<![A-Z_])" + s + r"(?![A-Z_])", open(f, encoding="utf-8").read()):
producers.append(os.path.basename(os.path.dirname(f)))
consumed = bool(re.search(r"(?<![A-Z_])" + s + r"(?![A-Z_])", orch))
if producers and not consumed:
print(f"[缺口] {s}: 生产方={producers}, Leader 无接收定义")
判定规则:每个由子 Agent 产生的信号,必须在 orchestrator 中有对应的处理分支。这条规则能一次抓出上文 12 处缺口。
7.2 字段数链路校验
对每个 *_SCORING_DATA / ASSESSMENT_DATA 的定义行,数竖线分隔的字段数,沿链路比对:
def field_count(sig_line: str) -> int:
return len(sig_line.split("|")) - 1 # 去掉信号名本身
# 期望:落盘字段数 >= 信号字段数 >= 模板消费字段数
# 实测:4 < 6 < 7 —— 链路在每一步都在丢
判定规则:下游需要的字段集必须是上游发送字段集的子集。本项目的实际情况正好相反。
7.3 占位符一致性
# 模板中的占位符
grep -o '{[^}]*}' Skills/talent-assessment-specialist/resources/report_template.html \
| grep -v '^\s*{' | sort -u > /tmp/tpl.txt
# SKILL 中声明的占位符映射
grep -o '| {[^}]*}' Skills/talent-assessment-specialist/SKILL.md \
| sed 's/^| //' | sort -u > /tmp/skill.txt
diff /tmp/tpl.txt /tmp/skill.txt
本项目这一项通过(19 个占位符两边一致)——说明作者对模板契约是认真核对过的,问题出在上游没人生产这些数据。
---
八、修复建议
8.1 补齐错误分支(优先级最高)
在 orchestrator 中为每个子 Agent 的失败信号定义处理:
### Signal 7: Sub-Agent Failure
On ERROR|KNOWLEDGE_BASE_NOT_FOUND|<AGENT>:
1. Set state = IDLE
2. Output to user: "面试流程暂时无法继续:知识库文件未找到。请联系管理员。"
3. Set state = ABORTED
4. Do NOT wait for CONTROL_RETURN
On CONTROL_RETURN|*|STATUS_FAILED:
Same as above, plus log the failing agent name.
On TIMEOUT_PARTIAL_RECORD:
Treat as partial completion. Proceed to next phase with a warning,
Treat as partial completion. Proceed to next phase with a warning,
or abort per configuration.
并给 Rule 4(等待 CONTROL_RETURN)加上超时阈值,与子 Agent 的心跳周期对齐(15 秒心跳 × 3 = 45 秒无心跳判阻塞)。
8.2 让明细随信号回传(改动最小)
测评专员 :48 已经定义好了编码格式,直接复用即可:
技术面试官 :196 改为:
TECHNICAL_SCORING_DATA|姓名|岗位|分数列表|总分|均分|路径|<明细串>
其中明细串沿用 Q{序号}:{题目}|{考察目的}|{答案}|{参考答案}|{得分}|{依据;;...}。
Leader 不需要读文件,原样透传给 ASSESSMENT_DATA。同时把落盘格式(technical:182)从 4 字段补到 7 字段,保证 txt 自身完整、可人工复核。
8.3 给分隔符加转义
最小可用方案:在拼接前对自由文本字段做 竖线 → %7C、分号对 → %3B%3B 的替换,解析时反向还原。或者更直接——把明细字段改为 JSON 字符串再用 Base64 编码,彻底避开分隔符冲突。
无论哪种,必须写进 SKILL 并给出正反例。hr:57-59 现有的「禁止使用特殊字符」无法被模型可靠执行。
8.4 合并重复枚举
把 :74-83 两套阈值合并为一张表,一处定义、三处引用:
| 分数区间 | level | badge | 展示标签 | 综合评级 |
|---|---|---|---|---|
| ≥ 8.0 | high | excellent | 优秀 | 强烈推荐 |
| 6.5–7.9 | medium | qualified | 合格 | 推荐 |
| 5.0–6.4 | low | poor | 待提升 | 待定 |
| < 5.0 | low | poor | 待提升 | 不推荐 |
注意 5.0–6.4 与 < 5.0 在 level/badge 上相同但评级不同——这个映射关系原来分散在两处,现在一行可见。
---
九、小结
这个项目在提示词编排层面做得相当克制:单播约束、固定顺序、心跳机制、强制信号格式,都是解决真实问题的设计。模板层的完成度也高——19 个占位符与 SKILL 映射完全对齐,grep -rnF 自查的「14 处路径」实测确实是 14 处,分布也对。
问题集中在一点:所有约束都以散文形式写在提示词里,没有任何一条能被机制检查。
- 信号有 12 个没有接收方——没有编译期可以拦。
- 字段逐层丢失——没有类型系统可以拦。
- 分隔符无转义——运行时不会报错,只会静默错位。
- 常量两套并存——不会冲突,只会让两处慢慢漂移。
提示词编排把传统软件工程里由编译器、类型系统、单元测试承担的那部分确定性,全部转移给了「写规范的人记得住」。规模小时尚可,一旦有 5 个 Agent、23 个信号、1146 行规范,人记不住。
可行的改进方向不是写得更详细,而是让规范变成可执行的检查——哪怕只是启动时跑一遍第七节那三行脚本,也比指望每次交接都不漏字段要可靠。
---
验证说明
- 审计对象:13cae30(git clone --depth 50),5 个 SKILL.md 共 1146 行。
- 已实测:信号消费矩阵(23 个标识符逐文件计数)、各环节字段数、模板占位符一致性(19 个,通过)、grep -rnF 路径计数(14 处,与 README 声明一致)、示例分数算术(8+7+6+9+8=38,均值 7.60,与声明一致;综合分 7.6≠7.8 不符)。
- 未实测:本文未在 WorkSwarm 实际运行环境验证任一缺陷的可复现性(本机未部署)。所有结论基于静态文本审读。状态机矛盾与 HR 题数冲突已有 issue #772 / #624 覆盖,本文仅作引用并标注未复现。
- 点赞
- 收藏
- 关注作者
评论(0)