华为云部署全球首个PFC-Free的商用RDMA网络HUAWEI CurreNET

2020 年 3 月 23 日

华为云部署全球首个PFC-Free的商用RDMA网络HUAWEI CurreNET

在 2019 华为全联接(HUAWEI Connect)大会上华为公司发布了一系列基于 All-Flash 架构的云存储产品,正式向全球用户提供全云规模的极致性能云存储服务。


在这些炫目产品的背后是华为公司多年的技术积累,其中一项黑科技即是全面超越 RoCE 网络的下一代低时延网络技术,HUAWEI CurreNET(以下简 CurreNET)。



CurreNET


CurreNET


CurreNET 是华为公司全自研的下一代低时延网络技术,其主要特征在于支持免 PFC 的全云规模部署,原生支持虚拟化,同时支持标准 verbs 和 socket 接口,以及应用自定义的通信语义卸载。基于以上特征,CurreNET 从网络规模、网络时延、多租户支持以及应用端到端通信性能等多个角度实现了对当前主流的低时延网络技术 RoCE (RDMA over Converged Ethernet)的全方位超越。


具体体现在:


  • 第一,消除了PFC依赖之后,可以跨越POD部署RDMA网路,消除了资源孤岛,网络规模达到10万+,真正做到RDMA和TCP同等规模。

  • 第二,消除了数据流发送速率的波动,使得网络可以获得稳定的低时延,常态下网络时延小于10us;在高负载(50%+)情况下,平均时延相对RoCE降低58%,99.9%尾时延降低90%。综合上述技术优势,CurreNET网络技术使得分布式存储的IOPS(随机读)能力提升了30%。


当前 RoCE 网络的大规模部署受限于其拥塞控制算法对 PFC 的依赖。由于 PFC 会引入网络死锁和 PFC 风暴风险,业界大多将 RoCE 网络限制在一个较小的范围内,例如仅允许同 pod 内的主机通过 RoCE 网络进行通信。这不可避免地造成了云数据中心内出现大量资源孤岛,而这完全违背了云计算的核心理念。


为了解决这个问题,CurreNET 提出了全新的、具有理论稳定点的拥塞控制算法。通过 ECN 模拟端到端信誉流控,CurreNET 把交换机队列深度严格控制在极低的水平且维持稳定,从概率上让因为缓存溢出造成的丢包接近零。


因此,CurreNET 不需要 PFC 就能在传统以太网环境中运行;解除对 PFC 依赖的同时,也让 RDMA 的全云部署成为可能;同时,极低的队列又显著降低了排队时延,把端到端时延成功维持在微秒水平。上述特性成功支撑了华为大规模云存储业务的极致用户体验。


本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/Zc9jodNkyhnWp9TBHZwydw


2020 年 3 月 23 日 23:39447

评论

发布
暂无评论
发现更多内容

数仓系列 | 深入解读 Flink 资源管理机制

Apache Flink

大数据 flink 流计算 实时计算

Flink作业问题分析和调优实践

Apache Flink

大数据 flink 流计算 实时计算 大数据处理

极客大学架构师训练营 框架设计、设计原则、设计模式 第四课 听课总结

John(易筋)

极客时间 极客大学 极客大学架构师训练营 设计原则 框架设计

第二周总结

qqq

极客大学架构师训练营

第二周作业

晨光

第二周总结

晨光

免费下载 | 阿里云实时计算整体解决方案白皮书重磅发布!

Apache Flink

大数据 flink 流计算 实时计算 大数据处理

第二周-总结

JI

极客大学架构师训练营

【Week02】框架设计

Aldaron

【大厂面试06期】谈一谈你对Redis持久化的理解?

NotFound9

数据库 redis 后端

依赖倒置架构

AIK

课程总结

AIK

架构师训练营 0 期第二周

Blink

第二周作业

Aldaron

小师妹学JVM之:JDK14中JVM的性能优化

程序那些事

JVM 「Java 25周年」 小师妹 JIT JDK14

Apache Flink 误用之痛

Apache Flink

大数据 flink 流计算 实时计算 数据处理

第二周-作业

JI

极客大学架构师训练营

设计模式的主要原则

架构师训练营第二章 总结

尔东雨田

当你启动Redis的时候,Redis做了什么

老胡爱分享

redis 源码分析 面试题

面向开发者的 WSL2 安装指南

simpleapples

Python golang Windows 10 wsl

从字符串到常量池,一文看懂String类设计

程序员DMZ

JVM 常量池 intern

《实现领域驱动设计》拆书稿 DDD入门 & 领域、子域和限界上下文

三界

架构 领域驱动设计 DDD

第二周 作业

尔东雨田

使用WebMaker快速预览Ionic页面效果

davidce

Ionic WebMaker 混合应用开发

编程这件事

dapaul

如何构建低延时的直播体验,让互动更实时?

巨侠说

CDN 短视频 直播 视频

红警1游戏开源,代码非常规范。网友:秀色可餐

程序员生活志

游戏开源 红警1

20年行业变革与技术演进,当下CDN如何为政企数字化转型加速?

巨侠说

CDN 边缘计算 移动视频

看清远处模糊的事,不如做好身边清楚的事

Neco.W

创业心态 未知

28岁程序员期权过亿,彪悍从字节退休,网友:酸了酸了!

程序员生活志

程序员 字节跳动 开发 退休

华为云部署全球首个PFC-Free的商用RDMA网络HUAWEI CurreNET-InfoQ