自托管通知通道翻车实录:一个 $ 符号与 4096 字节上限

举报
yd_235936725 发表于 2026/11/17 14:35:00 2026/11/17
【摘要】 摘要: 一个早上,我自托管的通知通道连翻两次车:先是每日签到推送里的余额 $1778.59 被 shell 展开成 778.59,接着 5068 字节的每日简报被服务端以 40014 拒收。两次事故的根因都不在业务逻辑里,一个在 shell 引用,一个在服务的默认上限。最后的修复不是再改一次命令,而是把推送方式钉死成固定脚本——规矩不在文档里,得在执行路径上。 一、这条推送链路平时长什么样我...

摘要: 一个早上,我自托管的通知通道连翻两次车:先是每日签到推送里的余额 $1778.59 被 shell 展开成 778.59,接着 5068 字节的每日简报被服务端以 40014 拒收。两次事故的根因都不在业务逻辑里,一个在 shell 引用,一个在服务的默认上限。最后的修复不是再改一次命令,而是把推送方式钉死成固定脚本——规矩不在文档里,得在执行路径上。

一、这条推送链路平时长什么样

我所有的主动通知都走同一条自托管链路:一台轻量机上跑着自己搭的 ntfy 服务,alerts 主题,发布要鉴权;每天两条固定推送走这条路——早上 08:40 的 AnyRouter 每日签到结果,和同一时间的每日资讯简报。简报之外,聊天里也会同步发一份,双通道互相兜底。

这套链路平时很安静,安静到我一度觉得它没什么可坏的。之所以全链路自托管而不是接第三方推送服务,是当初定下的方针:通知链自己掌控,后续其他服务也能复用同一条路。链路越是共用,通道一坏,影响面就越大——11 月 17 日早上 08:42 到 08:44,两分钟里 alerts 主题冒出 8 条消息:两条标题 Test 的探活消息、一条只有 200 字节的简报残片、一条 3800 字节、断在链接中间的简报半成品,最后才是两条发对了的正文。那个早上,推送通道本身成了最需要排查的东西。

二、第一次翻车:$ 被 shell 吃掉

先说签到推送。当天签到本身一切正常:登录态正常,余额 $1778.59,比昨天 $1753.59 正好多了 $25,消费与请求数都没变,签到成功。问题出在推送那一步。

我当时是把正文拼进一条双引号的 ssh 命令串里发出去的,大致是这个形状:

ssh root@host "curl --data-binary \"$MSG\" https://ntfy.example.com/alerts"

正文里的 $1778.59,在本地 shell 看来不是美元金额,而是位置参数 $1 后面跟了 778.59;(+$25) 里的 $2 同理。当时位置参数是空的,展开之后金额就变成了 778.59,(+$25) 变成了 (+5)。于是第一条推送发出去写着"余额 778.59(+5)"——数字看着像回事,实则全错。

更值得说的是我当时的核对方式。我发完做了回读核对,结果是 VERIFY=MATCH:比对的是本地文件里的正文和推送出去的正文,两者一字不差,核对通过。但文件本身在写进去的那一刻就已经错了——错在 $MSG 被展开的那一步。回读只能证明传输没丢字,证明不了源头是对的。核对的锚点选错了地方,等于没核对。

修复办法其实 11 月 6 日翻过同一次坑时就总结过:含 $ 的正文绝不放进双引号命令串,永远先在本地写成文件,再用 scp 传上盒子,让盒子上的脚本用 --data-binary @文件 发送:

printf '%s' "$MSG" > /tmp/msg.txt
scp /tmp/msg.txt root@host:/tmp/msg.txt
ssh root@host "python3 /root/ntfy-helpers/ntfy_push_anyrouter.py /tmp/msg.txt"

按这个办法重发第二条,余额 $1778.59 一字不差,HTTP 200,回读一致。当天 alerts 里因此有了两条签到推送,第一条错的、第二条对的,以第二条为准;错的那条没法撤回,只能留在主题里等过期。但这句话我要着重写下来:11 月 6 日的教训当时只停留在口头,没有钉进执行流程,所以 11 天之后原样复发。知道正确做法和每次都走正确做法,是两回事。

三、第二次翻车:4096 字节的墙

同一早上的简报推送翻在另一个地方。当日简报全文 5068 字节、70 行、5 条头条加一则快讯,生成只用了约 59 秒。我按老习惯整条一次 POST,结果服务端直接拒收:HTTP 400,错误码 40014,提示 attachments not allowed。

第一反应是附件功能是不是被谁关了。排查时先怀疑了附件开关,又去确认了主题的写入权限,都没问题;最后是把同一条正文按不同长度反复试发,才把墙的位置量出来。报错信息指向的地方,和真正的根因之间隔了一层"超限按附件处理"的隐含规则——顺着报错字面去查,注定走弯路。自托管 ntfy 的默认消息上限是 4096 字节,而我的服务配置里从来没有配过 message-limit,也没有配附件缓存目录。超限的正文会被服务端当成附件处理,而附件功能默认是关着的——于是超限不是被截断,而是整条拒收,错误码还指着附件,让人往错的方向查。

上限具体是多少,是靠二分法量出来的:先拿当天简报全文的一半去试,再逐步逼近——3717 字节能发,4186 字节被拒,墙就在 4096 字节附近。量上限的过程中还踩到一个小坑:按字节硬切正文时,如果切口正好落在中文字符中间,请求也会失败,因为半个字符不是合法的文本。最后按整行拆成两条发出:1–40 行 3717 字节、41–70 行 1351 字节,各自 HTTP 200,服务端原样回显,拼回与原文一致。

这次的教训是:4096 这个数不在任何报错里写明,报错只说附件不被允许。服务的默认上限属于那种"不翻车就永远不知道"的配置,排查时要先怀疑默认值,而不是先怀疑自己刚改过的东西。

四、收尾:把方法钉死,不再临场发挥

两场事故的共同点是:执行时都在临场发挥。签到推送临场拼命令串,简报推送临场试分段、临场发探活消息,试错的痕迹全留在了 alerts 主题里。所以这次收尾没再修某一处命令,而是把推送方式钉死:

  • 盒子上新建 /root/ntfy-helpers/ 目录,仅 root 可读写,里面只放两个固定助手脚本:签到推送一个,简报推送一个;发布用的鉴权信息只存在盒子本机,脚本运行时现取现用,不进定时配置、不落到任何一台开发机上;
  • 简报助手固定按不大于 3500 字节拆分,只在整行边界处切分,标题按 Daily Digest (i/n) 编号,逐条用 --data-binary @文件 发送,逐条回读核对;3500 这个数不是拍脑袋的:上限是 4096,留出标题与请求头的余量,取 3500 作硬顶,拆分只在整行边界处下刀,也就不会再切到中文字符中间;
  • 两条任务的定时配置同步改掉,明文禁止四件事:用 heredoc、echo、printf 拼正文;把正文放进双引号 ssh 命令串;向 alerts 发任何测试或探活消息;临场改方法或另写发送脚本。

验证新规矩时,我特意没往 alerts 发测试消息:拿当日 5068 字节的简报在本地干跑拆分,得到 3436 与 1632 两条,拼回与原文一字不差;两个脚本在盒子上语法检查通过。按新规矩的第一次实跑是第二天早上 08:40,到时才算真正验收。诊断过程里留在主题里的几条探活消息,按新规矩不能再用临时脚本清理,等它们 12 小时后自然过期——这也是钉死规矩的代价之一:连善后都不能开特例。

总结

这次一个早上翻两次车,留给我三条教训:

  1. 回读核对要核对源头。 比对"文件 vs 推送"之前,先确认文件本身是对的;锚点错了,核对通过也是假的。
  2. 含 $ 的正文永远不要进双引号命令串。 正文走文件、走 --data-binary @文件,shell 就没机会展开它。这条不是建议,是禁令。
  3. 知道你服务的默认上限。 4096 字节的墙不会写在报错里,超限的分段要按整行切,别按字节切,更别在出问题时才第一次去量它。

而比这三条更底层的一条是:曾经翻过的坑,如果只总结在聊天记录里,它一定会再翻一次。 11 月 6 日的 $ 展开坑,11 月 17 日原样复发,就是证明。真正让它不再复发的办法,是把正确做法写进固定脚本、写进定时配置,让每一次执行都只能走那条路——规矩不在文档里,在执行路径上。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。