OBS 静态资源被 CDN 缓存污染记录
上周把一个 Vue 3.4.21 的静态站点迁到 OBS 后,我以为发布只要覆盖同名对象就够了。结果浏览器打开 /assets/logo.png,仍然拿到两个月前的蓝色图标。第一眼我怀疑浏览器缓存,后来查华为云 CDN 控制台,发现这个地址已经命中 CDN,而且缓存时间是 30 天。
现场状态与排查过程
当时的组合是 OBS 桶 web-prod-3821、CDN 加速域名 static.example.net,OBS 区域为华北-北京四,CDN 源站类型选 OBS。桶里有 12,486 个对象,日均请求约 83 万次,OBS 到 CDN 的回源流量每天 9.6 GB,CDN 月账单 1,860 元。站点由 Nginx 1.24.0 构建,产物约 47 MB,其中 CSS 6.8 MB、JavaScript 21.3 MB、图片和字体 18.9 GB 中的一部分,约 12.4 MB。发布机是 Ubuntu 22.04 LTS,4 vCPU、16 GB 内存,Node.js 版本为 20.11.1。
我没有先改配置,而是用两台临时 ECS 做对照。机器规格是 s6.large.2xlarge,4 vCPU、16 GB 内存,系统镜像为 Ubuntu 22.04 LTS,分别通过公网和 VPC 内网访问 OBS 源站。内网那台用于确认区域和权限,公网那台用于复现用户看到的响应,两台机器都关闭了本机代理。内网访问 OBS 源站耗时 12 ms,公网访问 CDN 耗时 186 ms,响应体大小却相差 1.7 MB。
curl -I https://static.example.net/assets/logo.png
curl -I https://obs.cn-north-4.myhuaweicloud.com/web-prod-3821/assets/logo.png
curl -s https://obs.cn-north-4.myhuaweicloud.com/web-prod-3821/assets/logo.png | sha256sum
curl -s https://static.example.net/assets/logo.png | sha256sum
CDN 响应里有 X-Cache-Lookup: Hit,OBS 响应则是 200 OK,两个对象的 SHA-256 不一致。OBS 上新文件上传时间是 14:07:36,CDN 最早一次命中旧内容发生在 14:07:41,间隔只有 5 秒,所以这不是对象上传延迟,也不是浏览器缓存。我又用 curl --compressed 和 Cache-Control: no-cache 各请求一次,CDN 仍返回旧图,说明请求头没有绕开节点缓存。我还加上随机查询参数试了一次,返回内容依旧是旧图,日志里的缓存键没有把查询参数纳入匹配。
curl -s "https://static.example.net/assets/logo.png?v=20240618-1407" | sha256sum
# 仍得到旧图哈希,查询参数被规则忽略
控制台里的全站缓存规则把查询参数忽略了,缓存键实际接近下面这样:
scheme://host/path
我的静态资源却带指纹,例如 /assets/app.91a7c0.js。旧版文件删除后,新文件名虽然变了,但 CDN 节点上仍可能保留目录索引或旧 HTML。真正的问题是发布脚本先上传资源,再更新 index.html,而 CDN 对 HTML 使用了 30 天缓存,浏览器拿到的仍是旧入口。旧入口引用的 app.91a7c0.js 已经不存在,部分请求因此得到 404 Not Found,控制台显示的当天错误率是 0.42%。
我先用 OBS CLI 4.7.2 下载两份文件做哈希对比,随后在 DNS 旁路了一台 ECS 验证。这个办法有点笨,但能避开 CDN。临时把公网解析切到测试机后,问题稳定复现,源站返回的是新图,旁路测试机也正常。我试过直接修改本地 /etc/hosts,把域名指向 192.168.1.46,结果命令报出 curl: (60) SSL certificate problem: unable to get local issuer certificate。原因是请求仍使用 static.example.net 作为 HTTPS SNI 和证书名称,测试机没有对应证书。我把证书复制到本机也不够,因为 SNI 会命中默认虚拟主机。这个办法没验证成,我才改用保留原域名、在测试机终止 TLS 的方式,在 Nginx 1.24.0 里加载临时证书并回源 OBS。
这次故障没有拖垮业务,用户访问量不大,但我把旧 HTML 保留到 7 天后才删除,代价是发布后短时间存在两个入口。
配置、费用与遗留问题
我没有设置“刷新整个站点”,那个操作对 12,486 个对象太粗。发布脚本现在先生成带提交号的文件名,再更新入口文件,并只刷新入口 URL。构建时我原先只取了 Git 的短提交号,后来改成提交号加内容哈希,例如 app.91a7c0.a83f2.js,因为短提交号在不同分支可能重复。入口更新前还会检查文件时间,晚于 5 分钟就退出并报错 deploy: stale index.html,避免拿旧构建覆盖新版本。刷新命令是下面这样,URL 使用了百分号编码,避免查询参数被网关截断:
curl -X PUT \
"https://cdn.example.net/v1/tasks/refresh?type=refresh&url=https%3A%2F%2Fstatic.example.net%2Findex.html" \
-H "X-Access-Token: ${CDN_TOKEN}"
我没有直接把这个命令塞进部署脚本,因为刷新接口有频控,批量发布时连续 4 次返回 HTTP 429 Too Many Requests。响应体是 {"error_code":"CDN.000043","error_msg":"request rate exceeded"}。我一开始把间隔设成 1 秒,结果第 3 次刷新就失败;把间隔改成 8 秒,并在刷新后轮询任务状态,连续跑 12 次才没有再触发 429。失败尝试还暴露出另一个问题,接口返回 202 只代表任务创建成功,不代表节点已经刷新。我用固定等待 30 秒的写法验证过,有两次仍读到旧 HTML,改成轮询后才稳定。
curl -s "${CDN_TASK_URL}" -H "X-Access-Token: ${CDN_TOKEN}" | jq '.status'
# 等待状态变为 refresh_done,再检查源站和加速域名
HTML 缓存时间改成了 10 分钟,JavaScript、CSS 和图片改成 30 天。带内容哈希的文件不需要每次刷新,入口文件才需要处理。OBS 桶策略也收窄了,允许 CDN 服务账号读取 web-prod-3821,匿名用户只允许 GET 和 HEAD。我还去掉了匿名用户的上传、删除权限,调试时误删对象只能再通过 OBS CLI 恢复。策略改完后用 obsutil cp 写入时返回 AccessDenied: status code 403,这正是预期结果。
改完后的首日,CDN 命中率从 91.3% 变成 98.6%,回源流量从 9.6 GB 降到 2.1 GB。CDN 月账单按当前单价估算降到 1,410 元,少了约 450 元。OBS 请求费反而增加,因为回源少了,缓存命中请求不再重复访问桶。
我连续观察了 7 天,每天在 09:10、13:30 和 19:45 用 curl --resolve 指定多个 CDN 节点验证。结果不是每次都立刻一致,节点同步平均用了 43 秒,最长一次是 2 分 18 秒。
for host in cdn1.example.net cdn2.example.net cdn3.example.net; do
curl -s --resolve "${host}:443:203.0.113.10" \
"https://${host}/assets/app.91a7c0.js" | sha256sum
done
这个验证脚本本身也不够严谨,固定的测试 IP 不能代表所有节点。我后来从华为云 CDN 日志里抽取真实客户端地址,抽样 50 条记录,才确认线上没有旧文件回源。抽样范围覆盖 7 天,共检查 1,146 个 URL,发现 2 条旧缓存,任务完成时间分别是 14:08:17 和 14:09:03。
目前 CDN 的刷新任务没有接入统一审计,发布日志只记录刷新 URL,没有记录任务 ID。下一步我要在 CodeArts 流水线里保存任务 ID 和完成时间,再把失败重试限制在 3 次。另一个遗留问题是 OBS 桶里仍有 2,800 个历史指纹文件,生命周期规则只清理了 90 天前的版本,发布后一周的垃圾对象还要靠脚本清理。我准备把保留期先降到 14 天,但还没有确认旧版 HTML 是否还会被外部链接引用,所以暂时没执行。
- 点赞
- 收藏
- 关注作者
评论(0)