【云驻共创】分布式技术之华为云全域调度技术与实践

举报
宇宙之一粟 发表于 2022/08/01 01:26:43 2022/08/01
【摘要】 题记:分布式云原生都涉及哪些核心技术?会涉及到哪些场景的应用?怎么通过分布式云原生为企业加速?分布式云原生,是一个新的概念。使用分布式技术,将云原生实践进行整合、提供应用算力、集中供给、流量治理、和数据协同的能力,从而打造无处不在的云原生使用体验。 1 华为云分布式云原生——全域调度技术与实践分享人:华为云分布式云架构师王楠楠分享目录:华为云分布式云原生技术整体介绍全域调度架构与技术分享实践...

题记:分布式云原生都涉及哪些核心技术?会涉及到哪些场景的应用?怎么通过分布式云原生为企业加速?

分布式云原生,是一个新的概念。使用分布式技术,将云原生实践进行整合、提供应用算力、集中供给、流量治理、和数据协同的能力,从而打造无处不在的云原生使用体验。

1 华为云分布式云原生——全域调度技术与实践

分享人:华为云分布式云架构师王楠楠

分享目录:

  • 华为云分布式云原生技术整体介绍
  • 全域调度架构与技术分享
  • 实践案例

1.1 什么是云?

计算能力作为一种商品,可以在互联网上流通,就像水、电、煤气一样,可以方便地取用。

image.png

1.2 传统云原生与现代云原生的区别

传统云原生的现状是割裂式的,缺乏全局管理视图:

image.png

分布式云原生是以应用为中心的业务模型,做到了全新体验:全局统一,无处不在,随时可用。

  • 应用 + 算力:随时随地提供应用所需算力资源
  • 应用 + 流量:实时、跨域、按需调配应用访问流量
  • 应用 + 数据:全业务一体化迁移、容灾、弹性

1.3 华为云是如何做到的?

通过 1 个中心、3 个核心能力,4 类区域覆盖,为应用从核心区到业务现场形成广泛覆盖:

image.png

  • 1 个中心:提供对云原生基础设施、应用、用户权限、安全策略的一站式管理。华为云 UCS 通过一个中心控制台、一张分布式网络、一致云原生生态,四类区域覆盖、N 个基础设施
  • 3 个核心能力:应用算力供给、应用流量管理、应用与数据协同
  • 4 类区域覆盖:核心区域、热点区域、客户机房、业务现场

1.4 构建 4 个核心技术

  • 云原生服务全域分发,统一应用生态
  • 分布式安全管控策略、建立全组织统一的安全和权限标准
  • 开源开发的多集群管理制度,简化海亮集群应用管理
  • 流量、数据与应用统一编排,端到端保证分布式业务

image.png

2 全域调度框架与技术分享

当前的公有云,首先得选地域、选可用区,比如在广州、上海、深圳等,就建议就近选择。所以公有云当前的调度仍然是按照 region(区域)规划人工选择,与用户的实际资源使用之间存在差异。

image.png

实际业务需求:

  • 计算多地域:希望计算离我的数据,用户就调度
  • 规格多线:业务一般会测试多规格,C3、C6、C63、C7都可以,除了 S 系列不行之外
  • 计算规模高弹性:按需弹性,白天晚上,季度、节日波动大,希望能解决大规模突发的问题

3. 如何解决上述问题?

全域调度:云边全局资源整合,面向垂直场景以满足用户业务需求为目标

image.png

全域调度愿景:

  1. 供给侧改革:将云边全局资源整合,整合为全局统一视图,按照租户要求,协同全局资源完成供给
  2. 需求侧升级:面向各种垂直场景,和真正的业务需求,抽象业务调度目标,以满足业务需求为最终调度目标。

供给侧的全域视图:

image.png

image.png

核心技术难题:多个租户资源如何合理分配,先给谁,不给谁,给多少?

image.png

简历容量限制、满足用户需求;

  1. 如何体现不满足量?
  2. 如何呈现不停租户的偏好?

客户通过需求满足度评估:

image.png

资源搞定了,流量如何处理?

image.png

全局调度技术总图:资源、应用、商业策略联动
image.png

4 实际案例

4.1 互联网客户使用全域调度

某头部互联网客户使用全域调度,应对大规模流量突发。提供了资源推荐能力:

image.png

业务特性:

  • 大突量:突发事件弹性资源量是平时的 5- 9 倍
  • 短时长:突发资源使用时长 < 16 H
    问题:
  • 如何按照峰值准备资源会导致大量资源浪费,资源利用率不足 20 %
  • 如果按照日常均值购买资源,突发的时候又无法获取足够资源支撑业务。

4.2 华为云实时转码服务

实时转码服务业是互联网业务。

  1. 业务多地域分布,但是无法合理利用跨地域资源,业务上量前,需要大量预备资源
  2. 用户全局接入,很难平衡成本和体验
  3. 可以使用多种计算规格,但是不知道如何能够优化成本

image.png

  1. 全局流量趋势判断,辅助本地集群弹性决策
  • 预测业务量,决策全局业务集群分流策略
  • 结合每个资源池容量给出组合弹性建议
  1. 业务协同有状态单行,快速减容控制
  • 基于多资源池 Node 调整,输出业务向多规格资源的分配策略,引导成本的降低

本文参与华为云社区【内容共创】活动第18期。
https://bbs.huaweicloud.cn/blogs/364560

任务21:华为云HCDE专场暨分布式技术峰会

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。