客户端直传对象存储:签名怎么拼、去重怎么做、403 怎么查
一、客户端直传,为什么绕不开自己拼签名
把照片、视频这类大文件从端侧直接送到对象存储,而不是先上传到自己的业务服务器再转存,省掉的是双倍带宽和一台机器的磁盘压力。代价是端侧必须自己完成身份认证。常见做法有两种:一种是服务端下发预签名 URL,端侧拿着 URL 直接 PUT;另一种是端侧持有 AK/SK,自己按规范拼 Authorization 头。前者更适合生产,后者在教学案例和自用工具里很常见,因为不用额外写一个签发服务。
自己拼签名意味着要精确复现服务端的字符串拼接规则。差一个换行、少一个子资源、头没排序,结果都是 403。下面按实际踩坑顺序讲。
二、StringToSign 的结构
以华为云 OBS 的 Header 签名为例,最终请求头形如 Authorization: OBS AccessKeyId:Signature。其中 Signature 是对下面这个串做 HMAC-SHA1 再 Base64,六段依次是:
HTTP-Verb
Content-MD5
Content-Type
Date
CanonicalizedHeaders
CanonicalizedResource
前四段之间各有一个换行符,Date 之后那个换行紧接 CanonicalizedHeaders,不要再额外加换行。CanonicalizedHeaders 里每一项自带一个结尾换行;如果没有任何 x-obs- 开头的头,这一段就是空字符串。这是最容易多写或少写一个换行的地方。
一个可以直接跑的参考实现:
import base64, hashlib, hmac
NL = chr(10)
def sign(sk, verb, resource, headers,
content_md5='', content_type='', date=''):
canon = ''
items = sorted(
(k.lower(), str(v).strip())
for k, v in headers.items()
if k.lower().startswith('x-obs-')
)
for k, v in items:
canon += k + ':' + v + NL
sts = NL.join([verb, content_md5, content_type, date])
sts += NL + canon + resource
raw = hmac.new(sk.encode(), sts.encode(), hashlib.sha1).digest()
return base64.b64encode(raw).decode()
def md5_of(body):
return base64.b64encode(hashlib.md5(body).digest()).decode()
Content-MD5 是 128 位摘要的 Base64,不是十六进制字符串。很多人习惯打印 hex 摘要,顺手填进去,签名必错。
三、三个高频错点
1. Date 与设备时间
Date 用 RFC 1123 的 GMT 格式。服务端对时间偏差的容忍度是十五分钟量级,端侧时钟漂移、模拟器时间没同步、用户手动改过日期,都会让签名看起来完全正确却被拒。如果用 x-obs-date 这个头代替 Date,那么 StringToSign 里的 Date 段要留空,而不是两处都填。
2. CanonicalizedHeaders
规则是只取 x-obs- 开头的头,名字转小写,值去掉首尾空格,按名字字典序排序,逐项拼成 name:value 再加换行。请求库自动加的头、大小写不一致的头、值里带多余空格的头,都要按这个规则归一化之后再签。签的时候用一套值、发的时候用另一套值,是仅次于时间问题的第二大坑。
3. CanonicalizedResource
形如 /桶名/对象键。如果 URL 上带了子资源(acl、uploads、uploadId、partNumber、versionId 这类),要把参与签名的那些按字典序排序后拼在问号后面。两个方向的错误都常见:把不参与签名的普通查询参数也拼进去,或者分段上传时漏掉 uploadId 与 partNumber。另外资源路径里不要塞 Endpoint,也不要把桶访问域名当成区域域名。
四、对象键怎么设计才不撞、才好去重
直接用原始文件名做对象键,同名文件会互相覆盖;用随机 UUID,重复备份又会产生一堆冗余对象。一个实用折中是把内容身份和可读名字分开:
photo_backup/v2/<hash>/<safeName>
hash = SHA256(localUri + size + modifiedAt + md5)
前缀里的版本号给未来的键规则变更留了余地;hash 让同一个文件在同一种状态下落到同一个键,天然幂等;safeName 保留人类可读性,方便在控制台里核对。hash 输入里带上 localUri,是为了区分内容相同但来源不同的文件。如果希望按内容全局去重,就把 localUri 去掉,这是产品决策而不是技术细节。
端侧的备份记录还要按 Endpoint 和桶名做隔离。同一张照片备份到测试桶和生产桶是两条记录,混在一起会导致换桶之后全部被误判为已备份。判断是否跳过时,本地记录、文件 MD5 和云端 ETag 三者一起看,比只看文件名可靠得多。
五、ETag 不等于文件 MD5
单次 PUT 上传时,ETag 通常就是对象内容的 MD5 十六进制值,可以直接用来校验。但分段上传的 ETag 是各分段 MD5 的二进制拼接后再做一次 MD5,最后加上短横线和分段数,形如 xxxxxxxx-5。拿它跟整文件 MD5 比较必然不相等,于是去重逻辑会把已经备份好的大文件反复重传。
所以小文件可以用 ETag 校验,大文件要么在端侧自己记录整文件 MD5,要么上传时给对象打一个自定义元数据存指纹。不要试图从分段 ETag 反推整文件哈希。
六、SignatureDoesNotMatch 的排查顺序
- 先读响应体。OBS 会把它实际用来计算签名的 StringToSign 返回给你,逐字节和自己拼的对比,通常一眼就能看出差在哪一段。这一步比逐项猜快一个数量级。
- 核对时间:设备时钟、Date 格式、是否误用了 x-obs-date。
- 核对 Endpoint:填的应该是区域域名,不是桶访问域名,也不是从别的地域抄来的值。
- 核对资源串:子资源有没有漏,有没有多拼普通查询参数。
- 核对头:x-obs- 头的排序、小写、trim,以及 Content-Type 的签名值与实际发送值是否一致。
- 核对密钥:从下载的密钥文件里复制 SK 时,末尾的空格和换行非常常见。
七、权限和凭据卫生
端侧直传不要用主账号密钥。建一个开启编程访问的 IAM 用户,权限收到最小:桶级的 ListBucket,对象级的 PutObject 和 GetObject,资源范围限定到实际使用的那个桶。这样即使密钥泄露,影响面也只是一个桶。
还要清楚几件事。设置页把 AK/SK 显示成密码态只是遮挡,端侧 preferences 里存的仍然是明文,越狱设备或备份导出都能拿到;长期密钥下发到端侧本质上不安全,生产环境应该走临时授权。密钥不要进代码仓库、日志、截图和公开 issue。排查签名问题时打印 StringToSign 是对的,打印 SK 就是事故。
防覆盖可以用 x-obs-forbid-overwrite,但桶开了版本控制时,它阻止的是覆盖当前版本,历史版本照样产生、照样计费。删除当前对象也不等于删除历史版本,清理时要按控制台里实际存在的版本逐个核对。另外公网 GET 读取原对象会产生请求和流量费用,做云端预览时要有缩略图和缓存上限,不要每次滑动都拉原图。
八、小结
客户端直传的难点从来不在上传本身,而在三件事:签名串要和服务端逐字节一致;对象键要能表达同一个文件从而幂等;校验值要选对,别把分段 ETag 当整文件 MD5。这三件事做对之后,剩下的 403 基本都能靠读响应体里的 StringToSign 定位。
- 点赞
- 收藏
- 关注作者
评论(0)