退出码0不等于成功:自动化任务的双重验收设计

举报
yd_254065487 发表于 2026/11/14 05:20:52 2026/11/14
【摘要】 脚本退出码0、发布显示成功、日志写着成功,目标却可能没达成。本文用三个真实翻车案例,给出只认远端状态的验收设计。

三个退出码为0的失败现场

先看三个我在生产上真实踩过的坑,它们的共同点是:流水线全绿,任务实际没干成。

案例一:管道吞掉了退出码。一段数据同步脚本写成 hcloud obs cp ./data/ obs://bucket/in/ | tee /tmp/sync.log,脚本最后 exit 0。某次源目录为空,cp 什么都没传,但管道最后一段是 tee,$? 取到的是 tee 的退出码 0。任务判成功,下游任务读不到文件,滞后两小时才被发现。修法不是加 set -o pipefail 就完事——即使 cp 失败退出码非 0,也只是说明“命令执行了”,不说明“数据到位了”。

案例二:发布成功被误判为失败。发布脚本拉取配置后,用 curl 探测首页,发现返回内容里包含“确认”二字就判定失败。实际上业务在一次改版后,登录后首页带了一个“确认收货”入口,探测逻辑误报,回滚了三次正常发布。这是把“页面文本特征”当成业务健康判据的典型错误。

案例三:积分没涨,日志写着成功。一段 Python 任务打日志 logger.info("points granted, user=%s", uid),然后调用更新接口。接口返回 HTTP 200,但响应体是 {"code":"RISK_REJECT","msg":"user frozen"},脚本只看了状态码没解析 body,日志照样写成功。次日用户投诉积分未到账。

根因:把“执行”当成了“达成”

三类错误的本质相同:验收判据取自任务自身的副作用(退出码、日志、HTTP 状态码),而不是目标系统的最终状态。执行成功是必要条件,不是充分条件。可靠的验收只有一条:去远端查询目标状态,并和期望值比对。

验收设计:只认远端状态

我把每个自动化任务拆成三段:执行、取证、判据。执行段随便怎么写,取证段必须独立于执行逻辑,判据段只读证据。

  • 取证要查远端:对象存储查对象数量与大小,数据库查 SELECT COUNT(*),接口查业务字段而不是状态码。
  • 取证要有时间窗:查询条件带 WHERE created_at >= :task_start,避免把历史数据算进来。
  • 判据要可量化:不写“数据已同步”,写“目标前缀对象数 ≥ 源文件数且总字节数偏差 ≤ 1%”。
  • 失败要留证据:把取证查询的原始返回写进任务报告,方便事后复盘。

一个可直接套用的取证脚本骨架:

#!/usr/bin/env bash set -euo pipefail START=$(date -u +%Y-%m-%dT%H:%M:%SZ) # 执行段 hcloud obs cp ./data/ obs://bucket/in/ || true # 取证段:查远端对象数 REMOTE=$(hcloud obs ls obs://bucket/in/ --limit=1000 | wc -l) SRC=$(find ./data -type f | wc -l) # 判据段 if [ "$REMOTE" -lt "$SRC" ]; then echo "VERIFY_FAIL remote=$REMOTE src=$SRC" >&2 exit 2 fi echo "VERIFY_OK remote=$REMOTE src=$SRC"

注意执行段用 || true 是有意为之:执行失败不立即退出,让取证段跑完,报告里同时有执行错误和远端实际状态,排查效率高得多。

四类任务的可核验判据

数据搬运类:判据是目标端对象数、总字节数、抽样校验和。不要用“命令退出码为0”,也不要用“日志里有 completed”。

发布部署类:判据分两层。第一层查实例健康:从负载均衡后端列表取全部实例,健康检查状态必须全为正常,且实例数与期望副本数一致。第二层查业务接口:调用一个返回结构化 JSON 的健康接口,解析 status 字段,而不是匹配页面文本。跳转确认页这类“正常但不符合预期”的响应,应当被判定为发布成功但需人工确认,而不是自动回滚。

账务与积分类:判据必须落到数据库或账务查询接口。以积分发放为例,期望值写成:任务时间窗内该批次 granted_count 等于待发名单条数,且 SUM(points) 等于名单积分总和;同时校验没有 RISK_REJECT 状态的记录。HTTP 200 只能作为取证入口,不能作为判据。

定时清理类:判据是“删了多少”而不是“跑完了”。查询 WHERE expire_at < now() 的剩余条数必须为 0,并记录本次删除行数与预估行数的偏差。

把验收接入可观测性

取证结果不要只打日志,要变成指标:task_verify_result{task="obs_sync"},成功为 1、失败为 0;再配一条 task_verify_lag_seconds 记录取证时间与任务结束时间的差。告警挂在 task_verify_result == 0 上,而不是挂在任务进程退出码上。这样管道吞退出码、日志写错分支、状态码误判这三类问题都会在指标上暴露,而不是等用户投诉。

最后给一条自查清单:拿最近一周判成功的任务,随机抽三个,去远端实际查一次目标状态。如果查不出明确的判据,或者查出来的结果和任务日志对不上,那这条流水线的绿灯就是装饰品。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。