华为云对象存储迁移服务 OMS 初体验 丨【我的华为云体验之旅】

举报
liuzhen007 发表于 2021/12/30 22:56:24 2021/12/30
【摘要】 背景介绍本人硕士毕业后,进入了广电巨头中科大洋集团,从事智能云转码平台的开发工作。后来进入百家云,负责移动端 Android 和 iOS 底层直播点播 SDK 的开发工作,用很短的时间降低了移动端直播底层的崩溃率,提高了移动端产品的健壮性。目前主导公司云平台录播和点播、存储服务的开发工作。存储服务首先,谈一谈我主导开发的对象存储服务——Bag。Bag 服务不仅具备基础的存储能力,还具备一定的...

背景介绍

本人硕士毕业后,进入了广电巨头中科大洋集团,从事智能云转码平台的开发工作。后来进入百家云,负责移动端 Android 和 iOS 底层直播点播 SDK 的开发工作,用很短的时间降低了移动端直播底层的崩溃率,提高了移动端产品的健壮性。目前主导公司云平台录播和点播、存储服务的开发工作。

存储服务

首先,谈一谈我主导开发的对象存储服务——Bag。Bag 服务不仅具备基础的存储能力,还具备一定的转封装和转码能力。Bag 服务的实现方案和优化提升大概经过了三个阶段。第一个阶段,上传文件保存到 Bag 服务本地,通过挂载一定容量的数据卷来存储上传的文件。但是,这样存在一个非常明显的问题,不支持多实例部署。第二个阶段,去掉挂载的数据卷,引入了 Minio 存储,将 Bag 存储在本地的文件再上传到 Minio 存储中。尽管这样解决了多实例部署的问题,但是还存在一个明显问题,就是一次上传操作,实际上上传了两次,有两倍的时间消耗,从客户端上传到 Bag 一次,再从 Bag 上传 Minio。第三阶段,也是目前最合理的方案,将上传到 Bag 的数据分片直接转发到 Minio 存储中。这样就充分利用了 Minio 的分布式能力,通过合理的区域布点,就具备了一定了 CDN 分发能力。

华为云对象存储迁移服务 OMS

对象存储迁移服务(Object Storage Migration Service)是一种线上数据迁移服务, 帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移到华为云
在一个智能泊车系统的项目中,我们集成了腾讯云的 COS 云存储,但是考虑到数据安全的问题,决定再集成一家云厂商作为备份方案。对比各大云厂商,最终决定使用华为云的对象存储 OBS。OBS(Object Storage Service)是华为云的对象存储服务,具备稳定、安全、高效、易用的云存储服务特性,使用标准 Restful API 接口,可存储任意数量和形式的非结构化数据。预生产环境大概有500多G的智能泊车视频数据,我们大概花了半天的时间就从腾讯云 COS 迁移到了华为云 OBS,华为云的数据迁移速度让我眼前一亮。
OMS 的产品优势,一是简单易用,您只需通过一个界面,填写好源端和目的端信息即可创建迁移任务;任务迁移完成后,可通过SMN服务及时通知用户。二是传输可靠,传输时,实时侦测网络,异常时自动重试,提高传输可靠性;支持断点续传,任务暂停后,您可以手动重新启动任务;支持记录迁移对象并分类生产迁移对象报告(成功/失败/忽略),并支持单独重传迁移失败对象。三是数据安全,传输时,采用HTTPS数据加密通道,确保数据的传输安全;存储时,可采用KMS加密,确保数据的存储安全。四是高效迁移,迁移任务组支持将一个迁移任务智能拆分为多个迁移任务并行高效迁移,并以组的方式管理; 迁移前评估支持对象存储深度分析,便于提前制定迁移计划,并支持基于评估结果自动拆分多个迁移任务并行高效迁移。这些优势在实际使用过程中得到了验证。

工作总结

自己主导了很多云平台的单体服务的开发工作,基于Monibuca开发了录播服务,基于Minio开发了对象存储服务,通过自己多次主导云服务开发的经验,自己终结出一些开发技巧,在进行一个新的云服务或者软件系统开发时需要做到两点,一是知彼,二是知己。知彼的意思是去学习现有的技术方案和成熟的产品,借鉴前人的经验,站在巨人的肩膀上看世界。通过学习借鉴,归纳整理出不同的实现方案作为候选项。二是知已,基于自己公司现有团队的技术储备、人员储备以及具体的业务场景,从候选项中选择出最有性价比的方案。从而在最短的时间内使用最合适的技术栈,完成特定服务和软件系统的开发工作,以上是个人分享的关于新服务或者新系统的开发经验,希望对大家有所帮助。


【我的华为云体验之旅】有奖征文火热进行中:https://bbs.huaweicloud.cn/blogs/309059

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。