助力企业云上转型-华为云携手CCF打造大数据算法赛题
大数据时代的Serverless工作负载预测
真实场景海量数据,华为云邀你一起打造极致弹性服务
华为云携手CCF打造Serverless大数据服务算法赛题,共同向全世界大数据人才发出参赛邀请!
云计算时代,Serverless软件架构可根据业务工作负载进行弹性资源调整,这种方式可以有效减少资源在空闲期的浪费以及在繁忙期的业务过载,同时给用户带来极致的性价比服务。在弹性资源调度的背后,对工作负载的预测是一个重要环节。如何快速感知业务的坡峰波谷,是一个实用的Serverless服务应该考虑的问题。
大数据时代的"4V"特征------规模性(Volume)、多样性(Varity)、高速性(Velocity)和价值性(Value)给企业带来源源不断价值的同时,也增加了对大数据分析的技术门槛,用户往往面对海量数据和众多大数据组件(例如Hadoop,Spark,Flink等)手足无措。
“会SQL就会大数据分析”是华为云大数据服务的美好愿景,它强调降低数据分析人员的技术门槛,给用户提供最便利的大数据分析服务。在易用和便利的基础上,华为云Serverless的大数据服务还注重性价比,即用户可以花最少的钱就可以满足自己的数据分析需求。而在高性价比的背后,对资源需求的精准预测是一个重要环节,本赛题的背景也应运而出。
传统的资源控制系统以阈值为决策依据,只关注当前监控点的取值,缺少对历史数据以及工作负载趋势的把控,不能提前做好资源的调整,具有很长的滞后性。近年来,随着企业不断上云,云环境的工作负载预测成为一个经典且极具挑战的难题。
本次大赛希望选手能够利用机器学习/人工智能等技术,对具有时序关联的信息做特征工程及建模,预测未来一段时间的工作负载情况。在建模过程中,选手面对的难度与挑战包括且不限于:
1)模型的准确性,能够准确预测工作负载是本次赛题的指标;
2)模型的抗干扰能力,云环境下可能发生数据采集异常、数据点缺失等特殊情况;
3)模型的实用性,一个实用、高效、可落地的模型是本次大赛的评估点。
本次比赛数据来自华为云数据湖探索DLI采集的真实业务数据,数据湖探索是完全兼容Apache Spark和Apache Flink生态,实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理等,挖掘和探索数据价值。 选手好的解题思路也会直接反馈到真实生产环境,做到学术与工业的强强结合。
海阔凭鱼跃,天高任鸟飞。作为国内AI及大数据方面的大型比赛擂台,CCF BDCI的规模与影响力均属行业顶级,同时赛题全面、评审专业、奖品丰厚、总奖池金额高达70w+。如果你也想要一展身手,与各路大神同台竞技,那么千万不要错过哦,华为云Serverless大数据服务算法赛题,等你来参加!
直达数据湖探索DLI服务:https://www.huaweicloud.cn/product/dli.html
复制链接查看全部赛题:https://www.datafountain.cn/special/BDCI2020?utm_source=101
还可添加小助手保持联系哦~
- 点赞
- 收藏
- 关注作者
评论(0)