数据湖不是把文件倒进对象存储:三条分层实践

举报
帚木 发表于 2026/11/10 09:06:56 2026/11/10
【摘要】 很多团队建数据湖的第一步,是把各业务库的数据定时导出成文件,丢进对象存储,然后在上面跑 SQL。跑得动,但几个月后表越来越多、口径越来越乱,湖就变成了另一个堆放杂物的仓库。第一,先定义分层与生命周期,再谈文件格式。把数据按原始层、明细层、汇总层切开,每一层的保留周期、更新频率、责任人写清楚。文件优先选列式且支持 schema 演进,避免每加一个字段就要重建整张表。第二,小文件是隐形杀手。流式...

很多团队建数据湖的第一步,是把各业务库的数据定时导出成文件,丢进对象存储,然后在上面跑 SQL。跑得动,但几个月后表越来越多、口径越来越乱,湖就变成了另一个堆放杂物的仓库。

第一,先定义分层与生命周期,再谈文件格式。把数据按原始层、明细层、汇总层切开,每一层的保留周期、更新频率、责任人写清楚。文件优先选列式且支持 schema 演进,避免每加一个字段就要重建整张表。

第二,小文件是隐形杀手。流式写入如果每分钟落一个文件,查询时元数据操作的耗时可能超过真正的扫描耗时。按时间窗口合并小文件、控制分区粒度,往往比换一个更快的查询引擎收益更大。

第三,口径必须收敛到唯一来源。指标口径散落在各个脚本里,是数据湖最常见的质量问题。把常用指标做成统一视图或宽表,让下游只引用不重写,才能避免同一个指标出现两个答案。

还有一点常被忽略:元数据与血缘要一起维护。表和字段的注释、上下游依赖如果只活在人的记忆里,换个人接手就要重新猜一遍,治理成本会随着表数量指数上涨。

数据湖的价值不在存了多少,而在于有多少数据能被信任地复用。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。