云服务器时钟偏了 5 分钟,接口签名全军覆没:从 403 排到 NTP
上周半夜,线上一个跑了三个月的定时任务突然全军覆没:调对象存储、调短信网关,统统返回 403,提示签名不正确或请求已过期。代码一行没动,密钥没换,网络也通——我翻了半小时报错,最后发现罪魁祸首是服务器时钟:系统时间比标准时间快了 6 分钟。
别急着轮换密钥,先看报错关键词。SignatureDoesNotMatch、RequestExpired、timestamp out of range 这类提示,基本都是服务端在说“你这个请求的时间戳我不认”。签名接口一般只接受前后 5 分钟内的请求时间,超过窗口直接拒绝,跟密钥对不对没关系。密钥错了通常是另一类报错,也不会昨天还好好的、今天全量失败。
定位就两条命令:date 和 timedatectl。重点看三处:当前时间与北京时间差多少;System clock synchronized 是不是 yes;NTP service 是不是 active。再用 chronyc tracking 看 System time 一项,它会直接写本机与 NTP 源的偏差——我那台显示偏差约 +360 秒,刚好越过 5 分钟的容忍窗口。
为什么会偏?最常见三种:镜像或快照恢复后时间被冻结在旧时刻;宿主机时间漂移,虚拟机又没开时间同步;有人手动改过时区或时间,改完忘了同步。这类故障还有个坑人的特征:有时好时坏。漂移是缓慢累积的,刚开始差几秒谁也发现不了,攒到超过窗口那一刻,所有带签名的调用同时倒下,看起来像云厂商忽然抽风。
修复分三步:systemctl enable --now chronyd 开启同步;chronyc makestep 强制步进一次,把偏差一次性拉回来,靠 slew 慢慢追要等很久;等十几秒后重新执行 chronyc tracking,确认 System time 误差回到毫秒级,再重新跑任务验证。用 systemd-timesyncd 的系统则执行 timedatectl set-ntp true,看到 synchronized: yes 再收工。
最后留两条经验。第一,把时钟同步检查写进新机器的上线清单,timedatectl 一行就能看;第二,在云监控里给时间偏差加一条告警,超过 60 秒就通知,别等业务先炸。接口调不通的时候,先看时间——这句排障口诀,能省掉半夜的大半折腾。
- 点赞
- 收藏
- 关注作者
评论(0)