【智行100】华为云助力华大基因突破算力瓶颈,让基因测序更快更稳更准
基因究竟蕴藏着怎样的奥秘?是否真的如人们所说,能够锁定个人病变基因,提前预防和辅助治疗?
站在21年后的今天回望1999,无论对于汪建还是华大基因而言,都是具有里程碑意义的一年。这一年,作为“人类基因组计划”中国研究员之一的汪建,一手创立了华大基因。
自上世纪90年代初以来,“基因”便成为人类绕不开的话题,学界更是从那时起开始涉足“人类基因组计划”。
在你我或多或少都能谈上一两句“基因”的今天,基因已经不再是那样的新奇,它甚至关乎着你我自身的健康。
秉承“基因科技造福人类”的使命,怀抱“健康美丽,做生命时代的引领者”的愿景,华大基因以“产学研”一体化的发展模式引领基因组学的创新发展。然而,对于华大基因这样的行业先行者而言,若想有一个更长远的未来,解决算力瓶颈成为立足基因测序行业的必然选择。
计算资源紧张的时候,任务排队等候是“家常便饭”
随着业务规模的不断扩大,既反映了华大基因不可撼动的行业地位,同时也让它遭受了“幸福的烦恼”——“基因测序”需要庞大的算力支持。
往大了说,如今的生命科学研究竞赛,很多时候已经变成了一场“算力”的比拼,好的科研成果通常基于庞大的计算数据和强大算力的支撑;往小了说,目前的产前检测、肿瘤检测等医疗检测也需要消耗大量的算力。
作为全球领先的生命科学前沿机构,目前华大基因已经完成HPV检测总数超过420万例,完成耳聋基因检测250余万例,完成无创产前检测510多万例。
这些基因测序的流程中,动辄涉及数万到数十万个基因测序及模型建立,依赖大量的计算和存储资源,随着未来业务量的那一步扩展,将使华大基因的传统IT架构面临一定挑战——计算资源紧张的使用峰值时,任务排队等候更是“家常便饭”。
除此之外,基因测序行业还有这样的特点,对于算力的需求是波动的。通常情况下,第4季度的消耗最大而第1季度最少,这便导致了服务器的数量无法得到很好的控制。
如何调配服务器成为摆在华大基因这样基因测序企业面前的一大难题。基因测序行业有很多复杂基因组,在各个测序分析的阶段需要借助不同规格的计算资源,线下计算集群往往无法适应快速的扩缩容。
除此之外,线下集群架构不支持高通量基因测序数据的多任务并行,面对海量基因数据,每个基因测序都是一个极其消耗计算资源的过程,传统的数据存储和分析方式并不能支持高通量测序的需求。
面对基因测序行业困难与挑战,华大基因该如何化解?
华为云让华大基因“云端畅游”,事半功倍
面对大量待测数据的挖掘、存储、计算等都给基因测序行业带来了全新的挑战。系统逐步上云成为基因行业未来高速度、高质量发展中不可缺少的重要一环。
2018年,针对基因测序行业的困难与挑战,华为云推出了以Kubernetes为基础的基因容器服务GCS(Gene Container Service)。通过华为云GCS-SGE容器方案,将基因测序和容器技术完美结合,可以帮助华大基因更好地解决新一代基因测序技术在应用过程中所产生的大量数据存储、识别、计算等问题。
为了更好地探索基因的奥秘和解决计算资源短缺等问题,华大基因率先开启创新改革之路。“步入云端”后,华大基因既节省了测序时间,又针对测序算力需求波动,云端容器自主扩容,解决了峰值期客户各部门排队情况。
不仅如此,华为云GCS服务还为华大基因提供全自动化测序分析能力、低成本高可靠的存储服务,通过计算存储分离、内存及分布式缓存、智能调度等使大数据性能提升40%,成本降低50%。如今,华大科技服务已利用GCS-SGE方案完成超过300万核时计算,合作期间始终保持云端平稳运行。
回到最初的起点,人们关心的仍然是“基因测序技术能否锁定个人病变基因,提前预防和辅助治疗”的问题。因为,基因科技产业的发展一头连着经济发展,一头连着民生福祉。
近年来,华为云也一直秉持“科技向善”的理念,华大基因与华为云的携手,不仅以科技力量解码基因测序,也为上述问题的解决提供了更多的可能,进而让更多人从中获益。
可以想象,在“云+AI+5G”等新技术的加持下,华大基因和华为云将继续为基因乃至泛医疗行业的发展带来更多想象空间。
【智行100特别行动——讲述100位智能先行者的故事】
数字中国的构建并非朝夕之间,而是依靠一个个有前瞻思想、敢于打破常规、通过技术实现商业创新的企业去坚守与实践。
华为云与计算将在千行百业中邀请100位智能先行者,分享他们在数字化转型、智能化升级过程中的实践和经验,他们的选择、思考和创新,将为广大渴求高速发展的企业提供经验与参考,实现真正的“智行合一”。
- 点赞
- 收藏
- 关注作者
评论(0)