Paimon 快照过期了,S3 空间却没下来:先分清快照过期和孤儿文件
先说一个常见场景
某制造企业用 Flink 流任务往 S3 上的 Paimon 表里持续写订单明细,跑了几个月后发现对象存储账单一直在涨,表里的数据量明明没有同比例增长。第一反应往往是“快照过期没生效”,去查快照系统表一看,老快照确实已经不在了,空间却还是没下来。
这不一定是过期失效,而是把两类文件混在了一起:快照过期只删“曾经被快照引用、后来不再被引用”的文件;还有一类文件从一开始就没被任何快照引用过,快照过期永远不会碰它们。先分清这两类,再动手清理,账单才降得下来。
一、快照过期到底按什么规则删
Paimon 的过期目前由写入方在提交新数据时自动执行,不需要单独起一个清理任务。官方默认的三个保留参数是这样的:
snapshot.time-retained:默认1 h,即最多保留 1 小时的快照;snapshot.num-retained.min:默认10,即最少保留 10 个快照;snapshot.num-retained.max:默认无上限。
规则的关键在“最少保留 10 个”这一条:快照数不到 10 个时,即使最老的快照已经超过 1 小时,也一个都不会过期;超过 10 个之后,才按时间和数量上限继续往下清。另外,每次提交最多过期 snapshot.expire.limit 个快照,官方默认是 10 个,积压特别多时一次提交清不完,需要多轮提交才能慢慢追平。
所以,看到快照数在 10 个上下徘徊、空间不降,先别急着断言过期坏了,这可能就是默认规则在正常工作。真正要警惕的,是下面这种反向问题:下游消费很慢、或者批查询一次要跑很久,而保留期只有默认的 1 小时,快照可能在消费方还没读完时就被过期掉,重启时就找不到原来记录的快照了。
建表时就可以把保留期按消费节奏定下来,例如:
CREATE TABLE ods.order_detail (
order_id BIGINT,
order_time TIMESTAMP(3),
amount DECIMAL(12, 2),
PRIMARY KEY (order_id) NOT ENFORCED
) WITH (
'snapshot.time-retained' = '24 h',
'snapshot.num-retained.min' = '20'
);
已有表则用改表语句调整,不用重建:
ALTER TABLE ods.order_detail SET ('snapshot.time-retained' = '24 h');
这里的 24 小时和 20 个只是经验起点:保留期拉长能保住慢消费,但代价就是空间释放变慢,两者要按自己下游最慢的消费节奏取平衡,而不是越长越好。
二、空间没下来的另一半原因:孤儿文件
快照过期删的是“过期快照曾经引用、现在没人引用”的数据文件和元数据文件。但写入任务中途失败、提交被打断时,有些数据文件已经写到 S3 上了,却没有进入任何一个快照——这些就是孤儿文件。它们不属于任何快照,所以无论保留期设成 1 小时还是 24 小时,快照过期都不会清理它们,时间越久堆得越多。
清理孤儿文件要单独调用清理过程,Flink SQL 的写法如下:
CALL sys.remove_orphan_files(`table` => 'ods.order_detail', older_than => '2026-10-26 00:00:00');
这里的 older_than 是关键的安全阀:只清理早于这个时间的文件。我的经验做法是,这个时间点要选在“确认没有任务在跑、也没有失败任务正在重试”的空档之后,并且至少往前多留一天,防止把某个正在写入、还没提交的文件误当成孤儿删掉。第一次跑建议先在测试表上验证,确认无误后再对线上表执行。
另外还有两个容易被忽略的细节。第一,表上打了标签(tag)会钉住对应快照的数据文件,标签不删,这些文件就不会因为快照过期而释放,想回收空间要先处理标签。第二,快照过期后留下的空分区、空桶目录默认是不删的,snapshot.clean-empty-directories 默认就是 false,对象存储上残留的目录标记一般不占多少空间,不用为了这点残留去开这个开关,尤其是在 S3 这类对象存储上,额外的列举和删除操作本身也有成本。
三、排查顺序:先查快照,再查孤儿
遇到“空间下不来”,按这个顺序查,基本不会走弯路:
- 查快照系统表,确认老快照是不是真的还在。如果快照数卡在 10 个左右、且最老快照没超过保留期,那就是默认规则在起作用,不是故障。
- 如果快照已经正常过期、空间仍不见少,再怀疑孤儿文件,用上面那条清理语句处理,并复核
older_than是否留足了安全余量。 - 最后再看标签:有没有长期不清理的日标签、月标签钉住了大批文件,标签的保留策略要和快照保留策略一起定,不能只定一边。
小结
记住两句话就行:快照过期管的是“曾经有用、现在过期”的文件,默认保留 1 小时且最少留 10 个快照;孤儿文件管的是“从来没进过快照”的文件,只能用 remove_orphan_files 单独清理。空间账单涨的时候,先分清是哪一类文件在涨,再决定是调保留参数还是清孤儿文件,两个动作不要互相顶替。
- 点赞
- 收藏
- 关注作者
评论(0)