给 shell 脚本加上 set -euo pipefail,中间步骤失败才不会被悄悄吞掉
写数据处理或发布脚本时,很多人默认“命令报错脚本就会停”。bash 的默认行为并不是这样。某一步失败后,后面的命令往往还会继续跑;更不容易发现的是,管道中间的命令已经失败,只要最后一条成功,整个管道的退出码仍是 0。于是半截结果被当成完整输出,问题要到很久以后才暴露。
三个选项分别做什么
建议把下面两行放在脚本开头:
#!/usr/bin/env bash
set -euo pipefail
set -e 表示命令返回非 0 就退出,避免失败之后还继续改文件、继续上传结果。set -u 把未定义变量当成错误。环境变量没注入,或变量名写错时,脚本会立刻停,而不是拿空字符串去拼路径。set -o pipefail 让管道里只要有命令失败,退出码就按失败命令来算,而不是只看最后一条是否成功。三项里,最后一项最容易被漏掉,也最常造成“看起来成功、数据其实不完整”。
一个会被吞掉的失败
看这个例子。它想把日志里的错误行统计出来,写入结果文件:
#!/usr/bin/env bash
cat "$LOG_FILE" | grep 'ERROR' | wc -l > error_count.txt
echo "统计完成"
如果 $LOG_FILE 不存在,cat 会失败。但后面的 grep 和 wc 仍会处理空输入,写出一个值为 0 的文件,脚本还会打印“统计完成”。没有 set -o pipefail 时,管道的退出码以 wc 为准,所以整个步骤看起来是成功的。加上 set -euo pipefail 之后,这个错误会在当时就停下来,而不会留下一份假的统计结果。
允许失败时,把分支写清楚
不是所有非 0 都该让脚本退出。grep 找不到匹配时退出码是 1,在“检查某段日志是否出现”这种场景里,这是正常结果。如果把它放在管道里并开启 pipefail,脚本也会停。更稳妥的做法是把判断写进 if,而不是临时关掉 set -e:
if grep -q 'ERROR' "$LOG_FILE"; then
echo "发现错误日志"
else
echo "没有错误日志"
fi
if、while 以及 ||、&& 中用于判断的命令,即使开了 set -e,也不会因为条件为假而直接退出,这是 bash 的既定规则。需要失败就停的地方保持默认;需要允许失败的地方写明分支,比在脚本中来回切换 set +e 和 set -e 更不容易漏。
再补上两个小习惯
变量和路径加上引号,避免文件名包含空格时被拆开。输出先写到临时文件,成功后再 mv 到最终路径。这一点很关键:> 会在命令执行前就截断目标文件,管道即使中途失败,原来的结果也可能已经被清空。先写临时文件再替换,中途失败时旧文件还在。需要排查时,可以临时加上 set -x,把实际执行的命令打印出来。
另外,这些选项按 bash 来理解。脚本开头应写成 #!/usr/bin/env bash,执行时也用 bash script.sh,不要用 sh script.sh 去跑。不少系统里的 sh 指向 dash 或其他 POSIX shell,对 pipefail 的支持和错误处理细节并不一样,同样一份脚本可能表现完全不同。
这些选项不是为了让脚本更苛刻,而是让失败发生在当场。管道中间断了、变量没定义、某一步返回了错误,脚本立刻停住,总比带着错误结果继续跑、直到线上才发现要好得多。
- 点赞
- 收藏
- 关注作者
评论(0)