自托管通知通道翻车实录:一个 $ 符号与 4096 字节上限
摘要: 一个早上,我自托管的通知通道连翻两次车:先是每日签到推送里的余额 $1778.59 被 shell 展开成 778.59,接着 5068 字节的每日简报被服务端以 40014 拒收。两次事故的根因都不在业务逻辑里,一个在 shell 引用,一个在服务的默认上限。最后的修复不是再改一次命令,而是把推送方式钉死成固定脚本——规矩不在文档里,得在执行路径上。
一、这条推送链路平时长什么样
我所有的主动通知都走同一条自托管链路:一台轻量机上跑着自己搭的 ntfy 服务,alerts 主题,发布要鉴权;每天两条固定推送走这条路——早上 08:40 的 AnyRouter 每日签到结果,和同一时间的每日资讯简报。简报之外,聊天里也会同步发一份,双通道互相兜底。
这套链路平时很安静,安静到我一度觉得它没什么可坏的。之所以全链路自托管而不是接第三方推送服务,是当初定下的方针:通知链自己掌控,后续其他服务也能复用同一条路。链路越是共用,通道一坏,影响面就越大——11 月 17 日早上 08:42 到 08:44,两分钟里 alerts 主题冒出 8 条消息:两条标题 Test 的探活消息、一条只有 200 字节的简报残片、一条 3800 字节、断在链接中间的简报半成品,最后才是两条发对了的正文。那个早上,推送通道本身成了最需要排查的东西。
二、第一次翻车:$ 被 shell 吃掉
先说签到推送。当天签到本身一切正常:登录态正常,余额 $1778.59,比昨天 $1753.59 正好多了 $25,消费与请求数都没变,签到成功。问题出在推送那一步。
我当时是把正文拼进一条双引号的 ssh 命令串里发出去的,大致是这个形状:
ssh root@host "curl --data-binary \"$MSG\" https://ntfy.example.com/alerts"
正文里的 $1778.59,在本地 shell 看来不是美元金额,而是位置参数 $1 后面跟了 778.59;(+$25) 里的 $2 同理。当时位置参数是空的,展开之后金额就变成了 778.59,(+$25) 变成了 (+5)。于是第一条推送发出去写着"余额 778.59(+5)"——数字看着像回事,实则全错。
更值得说的是我当时的核对方式。我发完做了回读核对,结果是 VERIFY=MATCH:比对的是本地文件里的正文和推送出去的正文,两者一字不差,核对通过。但文件本身在写进去的那一刻就已经错了——错在 $MSG 被展开的那一步。回读只能证明传输没丢字,证明不了源头是对的。核对的锚点选错了地方,等于没核对。
修复办法其实 11 月 6 日翻过同一次坑时就总结过:含 $ 的正文绝不放进双引号命令串,永远先在本地写成文件,再用 scp 传上盒子,让盒子上的脚本用 --data-binary @文件 发送:
printf '%s' "$MSG" > /tmp/msg.txt
scp /tmp/msg.txt root@host:/tmp/msg.txt
ssh root@host "python3 /root/ntfy-helpers/ntfy_push_anyrouter.py /tmp/msg.txt"
按这个办法重发第二条,余额 $1778.59 一字不差,HTTP 200,回读一致。当天 alerts 里因此有了两条签到推送,第一条错的、第二条对的,以第二条为准;错的那条没法撤回,只能留在主题里等过期。但这句话我要着重写下来:11 月 6 日的教训当时只停留在口头,没有钉进执行流程,所以 11 天之后原样复发。知道正确做法和每次都走正确做法,是两回事。
三、第二次翻车:4096 字节的墙
同一早上的简报推送翻在另一个地方。当日简报全文 5068 字节、70 行、5 条头条加一则快讯,生成只用了约 59 秒。我按老习惯整条一次 POST,结果服务端直接拒收:HTTP 400,错误码 40014,提示 attachments not allowed。
第一反应是附件功能是不是被谁关了。排查时先怀疑了附件开关,又去确认了主题的写入权限,都没问题;最后是把同一条正文按不同长度反复试发,才把墙的位置量出来。报错信息指向的地方,和真正的根因之间隔了一层"超限按附件处理"的隐含规则——顺着报错字面去查,注定走弯路。自托管 ntfy 的默认消息上限是 4096 字节,而我的服务配置里从来没有配过 message-limit,也没有配附件缓存目录。超限的正文会被服务端当成附件处理,而附件功能默认是关着的——于是超限不是被截断,而是整条拒收,错误码还指着附件,让人往错的方向查。
上限具体是多少,是靠二分法量出来的:先拿当天简报全文的一半去试,再逐步逼近——3717 字节能发,4186 字节被拒,墙就在 4096 字节附近。量上限的过程中还踩到一个小坑:按字节硬切正文时,如果切口正好落在中文字符中间,请求也会失败,因为半个字符不是合法的文本。最后按整行拆成两条发出:1–40 行 3717 字节、41–70 行 1351 字节,各自 HTTP 200,服务端原样回显,拼回与原文一致。
这次的教训是:4096 这个数不在任何报错里写明,报错只说附件不被允许。服务的默认上限属于那种"不翻车就永远不知道"的配置,排查时要先怀疑默认值,而不是先怀疑自己刚改过的东西。
四、收尾:把方法钉死,不再临场发挥
两场事故的共同点是:执行时都在临场发挥。签到推送临场拼命令串,简报推送临场试分段、临场发探活消息,试错的痕迹全留在了 alerts 主题里。所以这次收尾没再修某一处命令,而是把推送方式钉死:
- 盒子上新建
/root/ntfy-helpers/目录,仅 root 可读写,里面只放两个固定助手脚本:签到推送一个,简报推送一个;发布用的鉴权信息只存在盒子本机,脚本运行时现取现用,不进定时配置、不落到任何一台开发机上; - 简报助手固定按不大于 3500 字节拆分,只在整行边界处切分,标题按
Daily Digest (i/n)编号,逐条用--data-binary @文件发送,逐条回读核对;3500 这个数不是拍脑袋的:上限是 4096,留出标题与请求头的余量,取 3500 作硬顶,拆分只在整行边界处下刀,也就不会再切到中文字符中间; - 两条任务的定时配置同步改掉,明文禁止四件事:用 heredoc、echo、printf 拼正文;把正文放进双引号 ssh 命令串;向
alerts发任何测试或探活消息;临场改方法或另写发送脚本。
验证新规矩时,我特意没往 alerts 发测试消息:拿当日 5068 字节的简报在本地干跑拆分,得到 3436 与 1632 两条,拼回与原文一字不差;两个脚本在盒子上语法检查通过。按新规矩的第一次实跑是第二天早上 08:40,到时才算真正验收。诊断过程里留在主题里的几条探活消息,按新规矩不能再用临时脚本清理,等它们 12 小时后自然过期——这也是钉死规矩的代价之一:连善后都不能开特例。
总结
这次一个早上翻两次车,留给我三条教训:
- 回读核对要核对源头。 比对"文件 vs 推送"之前,先确认文件本身是对的;锚点错了,核对通过也是假的。
- 含
$的正文永远不要进双引号命令串。 正文走文件、走--data-binary @文件,shell 就没机会展开它。这条不是建议,是禁令。 - 知道你服务的默认上限。 4096 字节的墙不会写在报错里,超限的分段要按整行切,别按字节切,更别在出问题时才第一次去量它。
而比这三条更底层的一条是:曾经翻过的坑,如果只总结在聊天记录里,它一定会再翻一次。 11 月 6 日的 $ 展开坑,11 月 17 日原样复发,就是证明。真正让它不再复发的办法,是把正确做法写进固定脚本、写进定时配置,让每一次执行都只能走那条路——规矩不在文档里,在执行路径上。
- 点赞
- 收藏
- 关注作者
评论(0)