华为天才少年专注存储研究
今年的华为天才少年项目再次引爆眼球。一个是从一名普通本科生“逆袭”成为华中科技大学博士,成为今年唯一拿到最高年薪的青年才俊;另一个是美容博士,在多种A级期刊发表论文,集智慧与美貌于一身。这两位华中科技大学的成功入围者迅速成为街头巷尾的热门话题。
值得注意的是,今年入围的两位华为天才少年的研究方向都与数据存储密切相关。所以这两个人一致选择华为做存储相关的研究,让人不得不感叹华为存储对基础研究和人才的重视。
事实上,自18年前正式启动以来,华为的存储开发一直与各大高校研究机构保持着密切联系。高校研究机构不仅是华为存储人才的重要来源,也是华为存储基础设施联合创新的重要合作伙伴。目前,华为存储已经成长为全球Top 5、国内Top1的重要厂商。在存储技术的产、学、研、用中逐步探索出了一条价值闭环,真正加速了基础研究的创新,用市场成果不断反哺基础研究的创新。
以入围天才少年项目的美丽博士为例。她的研究方向之一是非易失性存储器(NVM)和NVMe协议,这是当今存储产品最重要的技术趋势,而华为存储是端到端NVMe全闪存当之无愧的领导者。华为存储的产、学、研、用闭环价值在端到端NVMe全闪存的存储细分领域体现得淋漓尽致。
天下武功快,牢不可破。
同样,在存储产品中,性能是衡量存储优秀与否的重要指标之一。IO越高,单位时间延迟越低,存储性能越好,这也意味着可以加载更多的应用,可以及时响应业务请求,用户体验更好。
NVMe是一门关于存储领域快速的武术。如果把为机械硬盘设计的SAS协议比作一条有很多红绿灯和很多刺刀的省道;那么专门为闪存设计的NMVe协议就是一条不限速的高速公路。乍一看,NVMe能让数据真正飞起来,但如何让NVMe这条数据高速公路更合理、更智能,让数据在高速公路上“不翻车”,绝对需要多年的实践和不断的打磨才能实现。
这是因为在数据中心的数据网络中,IO路径涉及服务器、存储、网络等设备,以及FC、IP、IB、PCIe、SAS等网络协议,经常面临数据传输路径长、协议相互转换等挑战。因此,NVMe的落地往往“牵一发而动全身”,这就需要对整个数据中心的数据传输网络进行规划和设计。仅有一两个NVMe固态硬盘或NVMe闪存控制器是不够的。
华为是NVMe全闪存领域的顶级玩家,用“老司机”来形容也不为过。作为存储行业拥有SSD磁盘级专利最多的厂商之一,华为对NVMe协议进行了长期深入的研究,开发出了业内唯一端到端的NVMe SSD磁盘、NVMe闪存控制器和NVMe全闪存操作系统,并在业内率先实现了全系列端到端NVMe全闪存。
华为是怎么做到的?让我们找出答案。
华为非常重视NVMe,因为NVMe与闪存密切相关,是释放闪存性能潜力的关键。早在2005年,华为就开始研究闪存,对于NVMe如何落地,其价值如何实现,有着深刻的洞察和实践。
2065 438+00 NVMe最初是作为硬盘接口协议诞生的,充分释放了闪存的性能。然而,为了真正释放包括计算、存储和网络在内的数据中心的性能,NVMe作为硬盘接口协议是远远不够的。因此,经过多年的发展,NVMe已经逐渐发展到存储网络领域,NVMe over RoCE技术诞生了。
NVMe over ROCE(Non-volatile Memory Express over Remote Direct Access Memory over Converged Ethernet)作为新一代高性能存储技术,将NVMe协议与网络领域的RDMA技术相结合,它的出现真正让数据中心的数据高速公路成为一个统一的网络,具有性能、组网方便、方案成本等诸多优势。然而,它也面临着一些挑战,如链路故障感知时间、网络实验稳定性、部署方便性等。
为此,华为集合公司重量级产品线的力量,从存储和网络两个方面增强了标准的NVMe over RoCE方案,并推出了NOF+增强方案。
产品方面,华为是业内唯一一家端到端开发NVMe SSD磁盘、NVMe flash控制器、NVMe全闪存操作系统的厂商,并率先实现端到端NVMe全闪存全系列。
比如华为去年新推出的OceanStor存储Dorado系列,性能高达2000万IOPS,极限延迟0.05ms,各项指标远胜超市同类产品。
在华为OceanStor Dorado系列全闪存中,同时提供32G FC-NVMe和NVMe Over 100G RDMA全IP组网设计,使前端网络连接、后端硬盘帧连接和横向扩展控制器互联都采用相同的网络协议;OceanStor存储Dorado系列全闪存,还为NVMe设计了一套IO调度机制,完全取消了原有IO路径上的磁盘级互斥锁,避免了IO发出时的队列锁冲突,降低了软件开销,达到了最佳性能。
此外,华为OceanStor storage Dorado系列全闪存在操作系统层面针对NVMe进行了优化。智能芯片和FlashLink智能算法充分发挥多核优势,通过智能学习统计IO规则,提高读缓存命中率,缩短批处理时间,大幅提升性能和效率。
为了让数据高速公路更加稳定可靠,华为OceanStor存储了Dorado系列全闪存,在元器件层面提供了充足的保障。
比如为了增加端口的可靠性,华为自研SSD支持原生双端口技术,而不是使用内部交换机实现双端口,端口相互独立,互不影响,为整个全闪存提供了坚实的硬件基础和可靠性;此外,通过多年的PCI-E技术积累,华为拥有完善的PCI-E链路管理、异常处理和热插拔技术,支持SSD磁盘随时以任何方式拔出,提供端到端的PCI-E系统可靠性,保证单个磁盘更换或故障时不扩散。
针对大容量SSD容易造成数据丢失的情况,华为OceanStor存储Dorado系列全闪存采用创新的RAID-TP软件技术,基于纠删码算法,可以容忍三个磁盘同时失效时的数据丢失和业务中断。华为成为业界唯一一家可以同时容忍三个磁盘故障的厂商,也是三家厂商中唯一一家可以实现15分钟/TB高效重配置的厂商,重配置速度领先其他两家厂商20倍。华为OceanStor存储Dorado系列全闪存还拥有完整的快照、克隆、远程复制等数据保护技术。
目前,华为通过十余年的技术积累,已经积累了超过1000个NVMe全闪存成功案例,用户覆盖金融、政府、制造、能源等多个领域。
比如南华期货,成立于1996,是全国期货公司Top 10,主要从事期货经纪、资产管理、证券投资等业务。南华期货租用HKEx、郑商所、深交所、嘉兴联通、PCCW等行业的数据中心和电信运营商的VIP机房和机柜,就近部署交易系统。
这样做的目的只有一个:“先行一步。”南华期货的业务是典型的“时间就是金钱”,一点点时差往往可能带来利润的大变动。这种交易业务决定了其延迟要求极低,通常小于1南华期货女士部署华为OceanStor存储Dorado闪存托管综合交易平台,不仅稳定可靠,性能提升3倍,为投资者提供了极佳的用户体验。
可以说,华为“领先一步”的存储让用户在业务上“领先一步”。
经过18年的努力,华为存储现已成长为全球Top 5、中国Top 1厂商,在全球拥有12个R&D中心,4000多名R&D工程师,800多项存储专利,服务全球各行业超过12000用户,连续19个季度位居中国市场第一,连续多个季度在全闪存领域取得全球成功。
这十八年,技术创新是华为存储的信仰。技术创新的步伐从未阻挡过华为在高端存储架构、NVMe、智能存储等领域的突破,并逐渐从市场跟随者成长为行业当之无愧的技术领导者。去年,华为存储首次设立“奥林巴斯奖”,旨在解决数据基础设施的技术难题,鼓励和奖励在全球数据基础设施领域做出突破性贡献的研究人员。
未来,随着更多天才少年和华为其他人才的不断加入,华为存储有望在舞台中央展现更多精彩表现。