10年前恐怕没有人认为阿里做的那叫云,甚至连阿里自己那时可能都不认为自己在做云。

5年前分布式存储概念刚被提出的时候,也没有多少人会觉得它是未来,那时候谈的更多的是软件定义存储。

今天,同样有很多新的技术在萌生,也许现在还名不见经传,但未来可能会是某项关键技术的雏形。

就像这几个例子一样,很多我们现在习以为常的东西并不是凭空而出,而是经过了长期的演变。云计算如此,人工智能如此,大数据如此,本文要分析的分布式存储也如此。

书归正传,为什么要说分布式存储这个话题,又该从哪里讲起呢?给出两个关键词,一个是主流,一个是江湖。

分布式存储,存储未来

主流。当下,说分布式存储是存储主流技术,相信没有人反对吧。试问还有哪个存储厂商没有分布式存储产品的?即便是老牌以传统存储为主的存储厂商,如戴尔EMC、IBM也都有分布式存储产品线,更别提新兴的云厂商。试问哪个企业还对分布式存储技术一无所知?其实就连每个人使用的云空间都是分布式存储。

除此之外,还有更直观的数据体现。根据IDC发布的《中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2018年第四季度》显示,2018年,中国软件定义存储市场规模同比增长54.9%。软件定义存储在中国整体存储市场的占有率稳步上升,达到了22.1%。

分布式存储江湖变幻 后十年谁是盟主?-大数网

前不久IDC发布的《中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2019年第二季度》显示,2019年上半年,软件定义存储市场达到了52.8%的同比增长率。

增长势头迅猛,而且稳定。可能有朋友会问,这说的是软件定义存储,它们和分布式存储又有什么关系?应该说三者相互交织,很难说谁包含的范围更广一些。由于软件定义存储概念出现的更早,因此到现在IDC依旧沿用的是软件定义存储这个分类方式,并没有将分布式存储单独作为研究对象。但是照分布式存储目前的发展势头,不排除未来将其作为单独研究对象的可能。

多次破茧终成蝶

江湖。有人的地方就有江湖,是江湖就会有争斗。分布式存储发展到今天,也是一样。

别看分布式存储市场格局如今已初见分晓,但过程的曲折、市场的变幻远不是今天看起来那么简单。

回溯分布式存储的历史,最早能追溯到个人互联网时代,大家耳熟能详的BT、电驴,后来企业用的NAS、并行文件系统,以及再后来的HDFS、GlusterFS、Swift、Ceph……直到现在可以说是百花齐放。除去BT、电驴不谈,每一项技术背后代表的是不同时期、不同需求、不同派别的技术信仰,竞争不可避免,导致的直接结果是没有一项技术能一家独大。

至于市场格局更是如此,在关键技术开源的大背景下,每个时期都会涌入无数的后来者。而今日再回首,很多存储厂商已经没了,或倒闭了或被收购了,剩下的已是屈指可数。

分布式存储江湖变幻 后十年谁是盟主?-大数网

市场是无情的,也是最有效的,大浪淘沙,最后剩下的才是金子。因此,今天分布式存储领域生存下来的玩家必然有一定的长处,生存还很好的必定是经历过无数次自我突破、化茧成蝶的历程。但尽管如此,它们依旧不能丝毫放松。

因为以近三年IDC的调研结果来看,大局基本稳定,华为、曙光、XSky、新华三、浪潮一直占据着前五的位置,但名次时有变化。换句话说,丝毫松懈都可能引来万劫不复。

曙光ParaStor 10年,分布式存储10年

这其中,可以说曙光伴随、推动、引领了整个中国分布式存储市场的发展。下面来具体讲讲曙光分布式存储的发展历程,从中相信你能读到整个中国分布式存储发展史。

曙光分布式存储产品名叫ParaStor,用三个关键词可以概括:十年自主研发、丰富大规模部署经验和领先市场地位。

10年前曙光为什么就开始做ParaStor?那时候还是集中存储的天下。回答这个问题不难,结合当时的大环境,一切都变得顺利成章。先进计算当时刚兴起,存储成本在先进计算整个系统部署中占30%的成本。换句话说,分布式存储技术的突破会对整个先进计算的发展起到极大的促进作用。也正因为此,曙光才开始自研分布式存储系统。

2009年,起源于中科院计算所集群文件系统的ParaStor正式立项,同年发布V1.0版本。那一年,ParaStor为曙光分布式文件系统奠下了基础。

随后,ParaStor开始崭露头角,并获得众多用户的青睐。2013年,曙光发布ParaStor 2.0版本,同年,曙光为央视国际媒资库打造6PB存储资源池,存储、管理、共享十几年珍贵视频,并在全国多地气象局、环保局项目中脱颖而出。

分布式存储江湖变幻 后十年谁是盟主?-大数网

2014年,曙光做出一项重大调整,成立存储事业部,建立曙光EB级云存储实验室,组织更多资源和更专业的团队对ParaStor进行市场推广。

2015年,ParaStor在IDC中国NAS市场排名第一。

2016年,ParaStor发布V2.5版本,并首次进入石油行业。

2017年,ParaStor软件版本增加SSD Cache功能,首次实现同时支持文件/对象接口。同年,为国家气象局构建高达23PB的在线生产存储资源池。

2018年,全新一代ParaStor产品3.0发布。此时,数字化转型已经步入深水区,分布式存储在占据数据中心越来越多份额的同时,也被提出了更多要求,比如融合部署,适应用户多种业务类型。这也是第三代ParaStor的重要改进方向。

ParaStor300S重塑存储架构,支持文件、对象和块的存储服务,满足不同用户的实际需求。这一年,ParaStor在通用计算、视频监控、卫星遥感、生物信息、广电媒体、数据中心等多个应用领域全面开花。今年,ParaStor完成了对块的支持,实现文件、对象和块的统一存储。支持先进计算项目,单套系统容量超过100PB。

回首曙光ParaStor 10年历程,到现在历经三代产品,也反映了不同时期的技术特性、用户需求。其中,2014、2015年是明显的分水岭,自那以后,分布式存储概念走热,曙光发展历程加快。

截至当前,ParaStor为数千家客户管理数EB的存储空间,客户遍及政府、气象、能源、生物、金融、广电等多个行业;单一用户部署规模100PB;支持13000节点、甚至更大规模的项目部署。在IDC排名连续7年位居国内市场前二,中国分布式存储市场,绝对的领先者。

下一个十年,谁最可期?

以2019年为界,ParaStor刚走过第一个10年,就取得了这么多的成就,很难想象接下来还会有怎样的突破。毕竟未来有一个很重要的前提是分布式将成为存储事实上的标准。

这当然不是空穴来风。据IDC预测,2017-2022年,全球软件定义存储市场规模的平均增速为14.7%,而中国软件定义存储市场的平均增速为32.5%。有分析师乐观地预测,未来3年,在中国市场上,软件定义存储将占据整个存储市场的半壁江山。

另外从业务层面看,过去的观点的是,分布式存储不太可能承载像数据库这样的关键业务,但事实是已经有不少银行已经在做迁移。换句话说,分布式存储已经越来越深入传统意义的关键应用领域。

这是因为伴随云时代的全面到来,传统架构和云架构之间的界限正变得模糊,架构并不是用户关心的焦点,是否能承载起业务需要才是关键。而随着分布式存储各方面技术条件的不断完善,承载关键业务所面临的挑战已经越来越少,其成为主流也就成了自然而然的事情。

分布式存储江湖变幻 后十年谁是盟主?-大数网

而随着分布式存储发挥的价值越来越大,其本身也正在呈现出一些新的演进方向。其中一个是融合架构,分布式存储在朝着更简便、更易用的方式演进;另一个重要趋势则是闪存化。

多说几句闪存。过去对闪存的利用更多是在传统高端存储上,但是随着闪存技术的发展,成本的持续下降,SSD较机械硬盘的性价比优势越来越明显,在分布式存储中的占比也越来越多,尤其是在面对关键业务时,闪存几乎是必选项。另外,越来越多的新型应用场景如生物信息、4K高清渲染、人工智能等对闪存的需求也越来越迫切。

总的来看,分布式存储的舞台正越来越大,特别是随着闪存、融合架构的引入,对关键业务的承载度会更好,市场也越来越大。舞台大了,供玩家发挥的空间也就更大。所以未来,像曙光这样有实力的玩家必然会在更广阔的舞台上发挥更大的价值。

最后,回到题目本身,后十年,谁将成为盟主?不知道,但曙光无疑是有力的竞争者。