数据湖不是把文件倒进对象存储:三条分层实践
【摘要】 很多团队建数据湖的第一步,是把各业务库的数据定时导出成文件,丢进对象存储,然后在上面跑 SQL。跑得动,但几个月后表越来越多、口径越来越乱,湖就变成了另一个堆放杂物的仓库。第一,先定义分层与生命周期,再谈文件格式。把数据按原始层、明细层、汇总层切开,每一层的保留周期、更新频率、责任人写清楚。文件优先选列式且支持 schema 演进,避免每加一个字段就要重建整张表。第二,小文件是隐形杀手。流式...
很多团队建数据湖的第一步,是把各业务库的数据定时导出成文件,丢进对象存储,然后在上面跑 SQL。跑得动,但几个月后表越来越多、口径越来越乱,湖就变成了另一个堆放杂物的仓库。
第一,先定义分层与生命周期,再谈文件格式。把数据按原始层、明细层、汇总层切开,每一层的保留周期、更新频率、责任人写清楚。文件优先选列式且支持 schema 演进,避免每加一个字段就要重建整张表。
第二,小文件是隐形杀手。流式写入如果每分钟落一个文件,查询时元数据操作的耗时可能超过真正的扫描耗时。按时间窗口合并小文件、控制分区粒度,往往比换一个更快的查询引擎收益更大。
第三,口径必须收敛到唯一来源。指标口径散落在各个脚本里,是数据湖最常见的质量问题。把常用指标做成统一视图或宽表,让下游只引用不重写,才能避免同一个指标出现两个答案。
还有一点常被忽略:元数据与血缘要一起维护。表和字段的注释、上下游依赖如果只活在人的记忆里,换个人接手就要重新猜一遍,治理成本会随着表数量指数上涨。
数据湖的价值不在存了多少,而在于有多少数据能被信任地复用。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)