AICon上海「Agent与多模态解决方案专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

WDT:多 TCP 链路的数据传输开源库

  • 2015-07-27
  • 本文字数:998 字

    阅读完需:约 3 分钟

作为国际著名的社交网站, Facebook 与开源项目一直关系密切。目前,其设立的开源项目个数已经超过200 个。这些开源项目在为广大开发人员提供便利的同时,也为Facebook 带来了各方面丰厚的回报。近日,Facebook 又公布了一个开源项目——超高速数据传输工具(Warp speed Data Transfer,WDT)。接下来,本文就对WDT 项目进行简要介绍。

从2004 年上线开始,Facebook 迅速发展。时至今日,Facebook 每月的活跃用户量超过20 亿。在西方的万圣节,Facebook 每天所接收到的照片数量更是多达20 几亿张。为了满足用户的巨大需求,该公司先后在美国俄勒冈州和北卡罗来纳州等多个地方建立了数据中心。那么,如何在数据中心内部的主机之间以及数据中心之间进行高效的数据传输就成了迫切需要解决的问题。为此,Facebook 设立了WDT 项目。

WDT 可以被视为一个嵌入式的库或者命令行工具,其目的是在尽量减少资源(CPU/ 内存等)消耗的情况下,利用多个 TCP 路径提高两个系统之间传送文件的效率。为了提高代码的可移植性,Facebook 尽量减少了 WDT 的依赖关系。由此,代码的编译时间也大量减少,并使得项目轻量化。此外,WDT 没有采用异常,以保证传输效率和代码的易于集成。

在传输机制方面,WDT 采用了阻塞式线程 IO,保证在任何点都会有线程在读和写。这样,数据就可以被缓冲在双向传输道路上,使得最小内核 / 用户空间切换的情况下,每个子系统仍然处于忙碌状态。正是这样的双向传输机制进一步保证了系统吞吐率的最大化。

目前,WDT 代码已经托管在 GitHub 中。其代码中包含了一个小的命令行工具 wcp.sh,用来测试传输性能。据透露,在Facebook 内部传输系统之间的RocksDB 快照时,WDT 通过长距离和高延迟的传输链路提供了高达600MB/s 的传输速率。相比于之前高度优化的基于HTTP 的传输方案,WDT 传输速率约是其3 倍左右,且系统资源消耗更少。在没有进行节流控制的情况下,WDT 可以轻易使得40Gb/s 的网卡饱和,并得到近乎理论的链路传输速度(大于4GB/s)。

未来,Facebook 会借助开源社区继续对WDT 项目进行改进。其关注点包括重新构建代码来使用无需复制的流/ 缓存流水线和处理乱序的报文等。


感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群InfoQ 好读者)。

2015-07-27 08:4510155
用户头像

发布了 268 篇内容, 共 129.4 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

淘宝/天猫商品详情API接口在跨境电商数据采集中的应用

技术冰糖葫芦

API 安全 API 文档 API 开发 API 协议

堡垒机小知识之堡垒机使用范围讲解

行云管家

网络安全 数据安全 等保 堡垒机

火山引擎多重优势,助力企业出海抓住 AI 新机遇

新消费日报

从校招新星到前端技术专家的成长之路

京东零售技术

前端 企业号2024年7月PK榜

揭秘快手商品详情数据接口:数据驱动的商业决策新利器

tbapi

快手商品详情数据接口 快手API接口 快手商品数据采集

【YashanDB知识库】应用绑定参数的慢查询,慢日志抓取不到

YashanDB

yashandb 崖山数据库 崖山DB

rbd常用的配置参数

天翼云开发者社区

rbd 配置参数

LED租赁系列与舞台“融为一体”

Dylan

技术 灯光秀 LED LED display LED显示屏

Autobots应用探索:实践中的思考与发现

京东科技开发者

第三季度加密市场动荡:市场缺乏炒作题材,波动加剧

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

【YashanDB知识库】同时设置默认值和非空约束时报错YAS-02070

YashanDB

yashandb 崖山数据库 崖山DB

性能测试:性能测试报告

测吧(北京)科技有限公司

测试

S3基准测试工具 - Warp使用简介

天翼云开发者社区

测试 S3 开源云工具

基于快照的异步远程复制介绍

天翼云开发者社区

Java 前端 rbd

官宣!玲珑项目升级,如意玲珑(Linyaps)全新启航!

nn-30

Linux 开源 操作系统 deepin deepin V23

【YashanDB知识库】数据库审计shutdown immediate操作导致数据库异常退出

YashanDB

yashandb 崖山数据库 崖山DB

利用财务工具实现企业不同阶段的有效规划

智达方通

全面预算管理 预算管理 财务预算

从校招新星到前端技术专家的成长之路

京东科技开发者

云灾备场景

天翼云开发者社区

公有云 容灾场景

【堡垒机小知识】堡垒机可以定期自动修改主机密码吗?

行云管家

等保 堡垒机 等级保护

欢迎来到 Mint Expedition:Web3 和 NFT 的新时代开始

NFT Research

blockchain NFT\

TaD+RAG-缓解大模型“幻觉”的组合新疗法

京东科技开发者

国际营销内容

cts喜友科技

营销 国际营销

抖音商品详情API实战指南:轻松获取并利用商品数据

tbapi

抖音商品数据采集 抖音API 抖音数据采集 抖音商品详情接口

性能测试:性能测试报告

霍格沃兹测试开发学社

基于MindSpore实现BERT对话情绪识别

华为云开发者联盟

人工智能 深度学习 华为云 华为云开发者联盟 企业号2024年7月PK榜

爆火的无人驾驶萝卜快跑,背后有哪些隐忧?

博文视点Broadview

WDT:多TCP链路的数据传输开源库_Meta_张天雷_InfoQ精选文章