华为存储徐强:数据时代数据基础设施面临新挑战,存算分离正当时

 •  2020-09-06

华为海量存储副总裁徐强在 2020 大数据产业生态大会上表示,大数据分析的基础设施面临新挑战,而存算分离技术将帮助解决这一难题。

徐强认为,当今 5G、云、AI 加速了数字化转型,海量数据时代已经到来,目前正处在海量数据爆炸式增长的历史阶段。数据量增大的同时,数据的价值也正变的越来越重要数据的价值释放离不开数据基础设施,当前大数据分析的基础设施面临 3 个挑战:

第一是成本太高,“存算一体模式下,计算和存储是等比例扩容,带来计算、存储资源使用不均的情况,浪费了投资;多副本的数据保护模式,存储效率低,导致数据存储投资越来越高”。

第二是数据流动困难,“不同的数据在不同的大数据系统,形成数据孤岛,需要频繁拷贝数据才能完成数据分析,导致分析效率很低”。

第三是系统自动化管理复杂,“有业务系统、运营系统、大数据系统等等,不同类型的数据,采用不同的数据存储系统,且缺少智能运维手段,这对于运维人员的挑战非常大”。

正是这一系列问题的出现,催生了对存算分离技术架构变革的诉求。

徐强表示,存算分离具备独特优势,其计算和存储是两套独立的集群,可以按需投资,避免浪费。此外,存储和资源可以分别做池化,利用计算的无状态性实现资源的灵活调度,利用存储的多协议融合,避免数据拷贝,存算协同,提高分析效率。

他以 “浙江电信经营分析系统”举例,随着 5G 的到来,数据量正成倍增长,运营商要应对海量数据,扩容成本极高,但计算资源的利用率非常低,在引入存算分离方案后,原来需要 321 个节点的大数据系统只需 102 个节点,“直接的经济节省近千万,同时数据处理效率提升 10% 以上,每年带来经济收益增长可达数千万元”。