Paimon 快照过期了,S3 空间却没下来:先分清快照过期和孤儿文件

举报
luckyz 发表于 2026/11/02 09:09:39 2026/11/02
【摘要】 先说一个常见场景某制造企业用 Flink 流任务往 S3 上的 Paimon 表里持续写订单明细,跑了几个月后发现对象存储账单一直在涨,表里的数据量明明没有同比例增长。第一反应往往是“快照过期没生效”,去查快照系统表一看,老快照确实已经不在了,空间却还是没下来。这不一定是过期失效,而是把两类文件混在了一起:快照过期只删“曾经被快照引用、后来不再被引用”的文件;还有一类文件从一开始就没被任何...

先说一个常见场景

某制造企业用 Flink 流任务往 S3 上的 Paimon 表里持续写订单明细,跑了几个月后发现对象存储账单一直在涨,表里的数据量明明没有同比例增长。第一反应往往是“快照过期没生效”,去查快照系统表一看,老快照确实已经不在了,空间却还是没下来。

这不一定是过期失效,而是把两类文件混在了一起:快照过期只删“曾经被快照引用、后来不再被引用”的文件;还有一类文件从一开始就没被任何快照引用过,快照过期永远不会碰它们。先分清这两类,再动手清理,账单才降得下来。

一、快照过期到底按什么规则删

Paimon 的过期目前由写入方在提交新数据时自动执行,不需要单独起一个清理任务。官方默认的三个保留参数是这样的:

  • snapshot.time-retained:默认 1 h,即最多保留 1 小时的快照;
  • snapshot.num-retained.min:默认 10,即最少保留 10 个快照;
  • snapshot.num-retained.max:默认无上限。

规则的关键在“最少保留 10 个”这一条:快照数不到 10 个时,即使最老的快照已经超过 1 小时,也一个都不会过期;超过 10 个之后,才按时间和数量上限继续往下清。另外,每次提交最多过期 snapshot.expire.limit 个快照,官方默认是 10 个,积压特别多时一次提交清不完,需要多轮提交才能慢慢追平。

所以,看到快照数在 10 个上下徘徊、空间不降,先别急着断言过期坏了,这可能就是默认规则在正常工作。真正要警惕的,是下面这种反向问题:下游消费很慢、或者批查询一次要跑很久,而保留期只有默认的 1 小时,快照可能在消费方还没读完时就被过期掉,重启时就找不到原来记录的快照了。

建表时就可以把保留期按消费节奏定下来,例如:

CREATE TABLE ods.order_detail (
    order_id BIGINT,
    order_time TIMESTAMP(3),
    amount DECIMAL(12, 2),
    PRIMARY KEY (order_id) NOT ENFORCED
) WITH (
    'snapshot.time-retained' = '24 h',
    'snapshot.num-retained.min' = '20'
);

已有表则用改表语句调整,不用重建:

ALTER TABLE ods.order_detail SET ('snapshot.time-retained' = '24 h');

这里的 24 小时和 20 个只是经验起点:保留期拉长能保住慢消费,但代价就是空间释放变慢,两者要按自己下游最慢的消费节奏取平衡,而不是越长越好。

二、空间没下来的另一半原因:孤儿文件

快照过期删的是“过期快照曾经引用、现在没人引用”的数据文件和元数据文件。但写入任务中途失败、提交被打断时,有些数据文件已经写到 S3 上了,却没有进入任何一个快照——这些就是孤儿文件。它们不属于任何快照,所以无论保留期设成 1 小时还是 24 小时,快照过期都不会清理它们,时间越久堆得越多。

清理孤儿文件要单独调用清理过程,Flink SQL 的写法如下:

CALL sys.remove_orphan_files(`table` => 'ods.order_detail', older_than => '2026-10-26 00:00:00');

这里的 older_than 是关键的安全阀:只清理早于这个时间的文件。我的经验做法是,这个时间点要选在“确认没有任务在跑、也没有失败任务正在重试”的空档之后,并且至少往前多留一天,防止把某个正在写入、还没提交的文件误当成孤儿删掉。第一次跑建议先在测试表上验证,确认无误后再对线上表执行。

另外还有两个容易被忽略的细节。第一,表上打了标签(tag)会钉住对应快照的数据文件,标签不删,这些文件就不会因为快照过期而释放,想回收空间要先处理标签。第二,快照过期后留下的空分区、空桶目录默认是不删的,snapshot.clean-empty-directories 默认就是 false,对象存储上残留的目录标记一般不占多少空间,不用为了这点残留去开这个开关,尤其是在 S3 这类对象存储上,额外的列举和删除操作本身也有成本。

三、排查顺序:先查快照,再查孤儿

遇到“空间下不来”,按这个顺序查,基本不会走弯路:

  1. 查快照系统表,确认老快照是不是真的还在。如果快照数卡在 10 个左右、且最老快照没超过保留期,那就是默认规则在起作用,不是故障。
  2. 如果快照已经正常过期、空间仍不见少,再怀疑孤儿文件,用上面那条清理语句处理,并复核 older_than 是否留足了安全余量。
  3. 最后再看标签:有没有长期不清理的日标签、月标签钉住了大批文件,标签的保留策略要和快照保留策略一起定,不能只定一边。

小结

记住两句话就行:快照过期管的是“曾经有用、现在过期”的文件,默认保留 1 小时且最少留 10 个快照;孤儿文件管的是“从来没进过快照”的文件,只能用 remove_orphan_files 单独清理。空间账单涨的时候,先分清是哪一类文件在涨,再决定是调保留参数还是清孤儿文件,两个动作不要互相顶替。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。