数据中台最全详解,一文彻底搞懂!

举报
mikechen的互联网架构 发表于 2024/11/18 22:04:49 2024/11/18
【摘要】 中台是大型数据架构模式,也是大型架构的必备技能,本篇全面详解数据中台,建议收藏备用。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。

关注△mikechen的互联网架构△,10年+BAT架构经验倾囊相授

大家好,我是 mikechen | 陈睿

数据中台是大型数据架构模式,也是大型架构的必备技能。

本篇,我们全面详解数据中台。@mikechen

数据中台

通俗地讲,数据中台就是一个在数据层面上,为企业业务提供帮助,以及决策的一个工具。

image.png

在以前数据往往只被显示,慢慢地人们需要随时随地查找数据,存储数据的概念被普遍认知。

进入互联网时代后,数据存储有了比较明显的变化,互联网时代进入了爆发期,此时产生了大量的数据,人们通过数据挖掘,收集大量的外界数据作为决策的依据。

然后,人们渐渐产生了数据思维,发现可以通过观看数据来制定运营策略。

于是,大公司纷纷去打造自家的数据中台,将海量的数据作为自身的资产,并利用数据中台将数据进行整合,最后通过数据智能分析,以数据驱动决策,这就是数据中台。

数据中台价值

数据中台的使命是利用大数据技术,通过全局规划来治理好企业的数据资产,让数据使用者能随时随地获取到可靠的数据。

数据中台的价值,如下图所示:

image.png

数据中台,主要包含如下三大价值:

1. 帮助企业建立数据标准

数据中台的建设天然会帮助企业建设数据标准,包括数据建设规范和数据消费规范。

数据建设规范有诸如数据接入规范、数据建模规范、数据存储规范和数据安全规范等。这些标准都是建设数据中台时必须建立起来并依托数据中台去执行和落地的。

2. 促进中台组织形成

再宏伟的企业战略规划,都离不开一套科学合理的组织去落地执行,数据中台这种体系化工程将横向拉通企业数据相关方。

包括:中台建设团队、中台运维团队、以及数据产品经、数据运营团队等,从而形成企业真正的中台组织。

3. 全面赋能业务,促使降本增效

数据中台的终极价值是降本增效,无论是建设数据标准,还是形成中台组织,其核心目标都是帮助企业充分利用数据的价值

数据中台架构

数据中台屏蔽掉底层存储平台的计算技术复杂性,与上层的数据应用之间的一整套体系,通过数据中台的数据汇聚,让数据的使用成本更低。

数据中台的架构,如下图所示:

image.png

数据中台架构,主要会涉及到三层:工具平台层、数据资产层、数据应用层。

1.工具平台层

工具平台层是数据中台的载体,包含大数据处理的基础能力技术,比如:集数据采集、数据存储、数据计算、数据安全等于一体的大数据平台。

2.数据资产层

数据资产层是数据中台的核心层,它依托于工具平台层,划分为主题域模型区、标签模型区和算法模型区。

1)主题域模型

主题域模型是指面向业务分析,比如:订单、合同、营销等业务抽象的集合。

2)标签模型

标签模型的设计,与主题域模型方法大同小异,同样需要结合业务过程进行设计。

标签一般会涉及企业经营过程中的实体对象,比如:会员、商品、门店、经销商等,这些主体一般来说都穿插在各个业务流程中,比如:下订单就穿插相关流程。

3)算法模型

算法模型搭建过程包含:定场景、数据源准备、特征工程、模型设计、模型训练、正式上线、参数调整7个环节。

3.数据应用层

数据应用层严格来说不属于数据中台的范畴,但数据中台的使命就是为业务赋能,几乎所有企业在建设数据中台的同时都已规划好数据应用。

数据中台建设案例

阿A里数据中台,如下图所示:

image.png

阿A里数据中台,主要体现如下4个方面:

  • 全域数据采集与引入
    以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务。

  • 标准规范数据架构与研发
    统一基础层,通过数据指标结构化规范化的方式实现指标口径统一。

  • 连接与深度萃取数据价值
    形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。

  • 统一数据资产管理
    通过资产分析、应用、优化、运营四方面对看清数据资产,降低数据管理成本,追踪数据价值。

网易严选中台架构图

如下图所示,基于数仓里已经半加工好的数据,再通过BI 平台快速的根据业务需求进行数据可视化和数据分析。

image.png

网易云音乐数据中台架构

最底层是基础设施层:这包括资源环境和平台工具两部分。

第二层是数据层:数据层即网易云音乐的 OneData,包括标准化数仓、数据地图、数据安全中心和保障这套体系的数据质量管理中心。

第三层是服务层:服务层即网易云音乐的 OneService。它提供不同层级和粒度的数据 API,包括从最底层的任务执行调度能力,到最面向应用的人群圈定的各类服务能力。

最上层是产品层:针对一个个核心业务问题,比如:增长、营收、版权搭建了对应数据产品,实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环。

image.png

某企业数据中台架构图

下面这个数据中台,根据数据资产梳理结果,并以大数据平台的“数据采集 海量存储 计算引擎”为基础搭建公司数据湖。

再基于数据湖并结合“数据资产管理服务”和“智能数据研发服务”两大支撑服务群实现中台数据的资产化管理和智能化开发。
image.png

以上,是数据中台的详细解析,欢迎评论区留言交流或拓展。

我是 mikechen | 陈睿 ,关注【mikechen的互联网架构】,10年+BAT架构技术倾囊相授。

新的架构专题内容,第一时间更新至:阿里架构师进阶全部合集

本文已同步我的技术博客 www.mikechen.cc,更新至我原创的《30W+字阿里架构技术合集》中。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。