OBS流量超预算后我改下载链路
费用报警和排查现场
8月12日 02:17,费用中心短信把我叫醒,预算项是 OBS 公网下行,月预算 1500 元,已用 1688.31 元,桶是 prod-release-cn4。这个桶放安卓全量包和离线模型,过去半年每月 1.9TB 到 2.2TB,下行费用 700 到 900 元。那天我点开账单,8 月只过了 12 天,下行已经 3.77TB,我按当天斜率算了一下,月底会到 4300 元附近。
这个告警把我从床上叫起来。
我先查是不是业务真涨了。发布后台里 2.4.9 的 DAU 只比上月同期多 6.2%,新增设备多 4.8%,升级入口 PV 多 5.1%。我又去 ClickHouse 查 upgrade_confirm 事件,凌晨 3 点没有峰值,和流量曲线完全对不上。桶 ACL 还是 public-read,这是历史欠账,客户端一直写死 OBS 直链,省掉鉴权层,现在开始反噬。
02:31 我补开访问日志,目标桶 prod-release-log,前缀 obs-access/2024-08-12/。03:10 拿到第一批 gzip,在 ECS s6.large.2 上解析,2 vCPU、4GiB、Ubuntu 22.04.4 LTS,obsutil 5.5.12,下载加统计一共 14 分钟。
obsutil version
obsutil ls obs://prod-release-log/obs-access/2024-08-12/ -s
obsutil cp obs://prod-release-log/obs-access/2024-08-12/ ./log/ -r -f -j=8
zcat ./log/*.gz | cut -f8,11,12,9 | sort | uniq -c | sort -nr | head -20
zcat ./log/*.gz | awk '{b[$4]+=$9} END {for(i in b) print i,b[i]}' | sort -k2 -nr | head
前 20 条里有 15 条是 app/full_2.4.9.apk,User-Agent 基本是 python-requests/2.31.0,Referer 都是 -。我抽了一条原始记录:GET /app/full_2.4.9.apk HTTP/1.1 200 704643072 - python-requests/2.31.0。这个字节数就是整包大小,没有 Range 头,说明是整文件反复拉,不是断点续传。
03:46 到 05:00,这一个对象被拉了 892 次,出流量 612GB。
我按 /24 网段聚合,两段地址吃掉 61.4% 字节数,请求间隔平均 1.8 秒,像脚本定时器。我中途做过一次偷懒尝试,在 OBS 防盗链里加 Referer 白名单 *.example.com,想先挡 10 分钟。这个动作直接翻车,App 内置下载器默认不带 Referer,正常用户也被拦。更新页报错从每分钟 3 到 5 条跳到 120 多条,客户端日志是 GET /app/full_2.4.9.apk 403 Forbidden,OBS 返回体里有 AccessDeniedByHotlinkProtection。09:42 我把配置撤回,前后只撑了 19 分钟。
改下载链路、返工和账单
10:40 我做了更激进的动作,把桶 ACL 从 public-read 改成 private,命令直接递归全桶。桶里大约 12.7 万对象,我原本估计 8 分钟能改完,结果 3 分钟后客服群就开始刷屏。
obsutil chattr -acl=private obs://prod-release-cn4 -r -f -j=10
Nginx 监控里 /upgrade/check 的 5xx 没涨,但下载成功率从 98.7% 掉到 11.9%。客户端拿到的是标准 AccessDenied:
<Error>
<Code>AccessDenied</Code>
<Message>Access denied</Message>
<RequestId>3A6E4D9F8A7C2E11</RequestId>
</Error>
我当时把回滚命令敲下去时手都是抖的。
回滚用了 23 分钟,进度在 70% 卡了 6 分钟,我一度担心会残留。命令里的并发我从 -j=10 提到 -j=20,速度从每秒 78 个对象到 131 个对象。结束后我抽样 500 个对象查 ACL,确认都回到 public-read 才通知客服恢复。
obsutil chattr -acl=public-read obs://prod-release-cn4 -r -f -j=20
obsutil stat obs://prod-release-cn4/app/full_2.4.9.apk
obsutil ls obs://prod-release-cn4/app/ -s
我没再碰公开读,改成补一层签名服务。实现很薄,Go 1.22.6 + huaweicloud obs sdk-go v3.24.9,只做 /pkg/sign,校验业务 token 后返回 302 到临时 URL。服务跑两台 ECS c7.large.2,2 vCPU、4GiB、EulerOS 2.0,前面是 Nginx 1.24.0。签名参数我写死 method=GET 和 content-type,避免客户端把 apk 当成普通二进制流。
limit_req_zone $binary_remote_addr zone=dl:10m rate=30r/m;
server {
listen 443 ssl;
server_name dl.example.com;
location /pkg/ {
limit_req zone=dl burst=20 nodelay;
proxy_pass http://signer_upstream;
proxy_set_header X-Real-IP $remote_addr;
}
}
这里返工了两轮。第一轮我把 rate 设成 10r/m,想更狠一点,结果老客户端弱网会重复点下载,429 在 15 分钟内冲到 1.7%,工单马上上涨。16:40 我改成 30r/m + burst=20,429 降到 0.2%。第二轮是签名 TTL,起初给 600 秒,链接转发窗口太长;我试过 60 秒,海外节点 RTT 380ms 时失败率到 9.4%,用户反馈“点两次才开始”。我退回 300 秒,失败率回到 1.3%。
客户端只动一处,2.2.0 以上把下载域名从 obs.cn4.example.com 改成 dl.example.com,代码在 DownloadTask.java 第 214 行,commit 9f3c2d7。灰度节奏是 8 月 13 日 14:00 放 5%,8 月 14 日拉到 30%,8 月 15 日 11:30 全量。历史公开链接做了 7 天过渡,旧路径命中后 302 到签名地址,避免强制升级。
离线任务也挪到同 Region ECS,用 OBS 内网地址拉取,每天约 400GB 从公网计费里移走。账单变化很直白,8 月 1 日到 12 日公网下行 3.77TB,费用 1688.31 元;8 月 13 日到 31 日下行 1.12TB,费用 487.20 元。请求次数费用从 96.44 元涨到 138.09 元,签名接口和 302 抬高了请求量。新增两台 ECS 和一个共享型负载均衡,8 月折算 247.6 元。现在还有 17% 下载来自 2.1.3 及以下版本,这批客户端写死旧域名;另一个洞是 300 秒内链接仍可转发,我准备试一次性 token,把设备 ID 和对象 key 写进 Redis 校验表,TTL 180 秒,命中一次就销毁,再看失败率和投诉量。
- 点赞
- 收藏
- 关注作者
评论(0)