写点什么

百度南京数据中心:数据中心计算与变革

  • 2013-01-15
  • 本文字数:1952 字

    阅读完需:约 6 分钟

2013 年 1 月 11 日,随着百度南京数据中心的“开放日”迎来首批嘉宾访客,百度云计算硬件基础设施的神秘面纱也逐步显现。从百度云首席架构师林仕鼎微博中也透露出包含百度自主研发 SSD 在内的五个突破性成果。

本次云计算基础设施中五个成果分别为:

  • 全球首个 ARM 服务器在数据中心的规模应用,取得 10 项发明专利。实现了数据中心低成本和低功耗运行。存储密度提升 70%, TCO 降低 25%;
  • 国内首个大规模部署的定制化整机柜,自主设计,取得 40 项设计专利。TCO 降低 10%,支付效率提升 10 倍;
  • 国内最大的万兆集群(5000 台),百度自主研发,接入成本对比同类商用方案下降 83%;
  • SSD 实现百度自主研发,产生发明专利 3 项,学术论文 2 篇。与 PCIe flash 相比,性能提升 2 倍,成本降低 40%;与 SATA SSD 相比,性能提升 6 倍,成本降低 10%;
  • PUE 达国内领先、国际一流水平。如百度 M1 自建机房最佳 PUE 达 1.18,年均 PUE 达 1.37,能效提升 7%,全年完全免费冷却时间达 4200 小时,占全年时间的 48%。

传统以来,PC 与服务器界,Intel Inside 的标志几乎是不可更改的习惯。本次专为百度云服务设计的 ARM,基于云平台将软件与 CPU 指令集解耦,实现了轻计算负载,高存储密度,存储密度提升了 70%,TCO 降低了 25%。而为了达成低功耗,低成本,百度也实现了指令集变迁,即一套代码,两种平台(X86&ARM)。

据参观了百度南京云数据中心人员透露,该数据中心集成了国内互联网行业最大的万兆集群,集群规模超过 5000 个节点。此外,该机房使用了百度自主研发的,基于 64 核处理器的负载均衡系统,该系统可以为业务提供最大 320G 的负载均衡以及 DDoS 攻击防御服务,而其成本不到商用设备的 10%。

林仕鼎也在微博中提到

百度 SSD,是我一直鼓吹的 Datacenter Computing 领域中 application-driven, software-defined 设计理念的典型实践。我们重新设计了 SSD 控制系统,取消写缓冲,对外暴露数据通路,把通路调度,读写平衡、擦除等操作都留给上层软件系统。在存储系统里,已经充分考虑了读写性能不均问题,并且在机群规模进行冗余远比在单块 SSD 里考虑来得有效。这个 SSD 配合 CCDB 新存储系统已经开始大规模使用,软硬件协同创新。硬件和基础设施简单可控可管理,软件更聪明更灵活,应用从上到下逐层驱动系统进化为竖井式架构,这是在数据中心里发生的技术革命。

自建数据中心年均 PUE1.37,国内最佳。PUE(Power Usage Effectiveness)是国际上通用的数据中心能源使用效率衡量指标。PUE= 数据中心总设备能耗 /IT 设备能耗,是一个比值,PUE 越接近 1 表明能效水平越高。国内数据中心 PUE 目前平均值约为 2.5,这意味着 IT 设备每消耗 1 度电,就有多达 1.5 度的电被 IT 配套基础设施消耗掉了。若全国数据中心 PUE 均值从 2.5 降低到百度的 1.37,则节能率达到 45.2%,保守估计全年可节电超过 35 亿度。

此外,业内人士也对此举表达了自己的看法:

@网易汪源:需求多变时,就把硬的做成软的;需求不变时,就把软的固化成硬的。从看山是山,到看山不是山,再到看山还是山,历史总是正弦曲线般振荡。也有人是余弦,总差个周期,忽视相位差,竟成预言家。现在搞软的正当时,相信过几年百度又会来硬的。

@梁斌 penny :1 年前百度的 HR 找我抓搞硬件的人才,我还觉得奇怪,怎么百度也要搞硬件了,现在看来,还真是搞出了东西,不过我觉得还是专业分工好,便于专业化。

@文非刀:就是用高效计算单元替换低效计算单元,在高层协调数据读写调度的竖井式结构,比较容易协调读写效率,最大的好处就是结合应用层设计方便调度了,有钱公司就是好啊,估计后续还有其他硬件出来。

@陈怀临:“计算进一步靠近数据” 。 很牛呀!不是数通的人能说出这样的理解……我记得我 2,3 年前在数通圈子里提过这个口号。

@刘欧 V :百度这个创新最牛之处并不只在于技术方案如何,而是做事情的理念和魄力,敢于颠覆”事情就是这样的”陈规,根据现状实际需求,打破长久默认的只适合老场景的软硬件之间的信息透明程度,层与层之间信息透明了,没有旧机制的束缚,事情就变得不一样了,想象空间和新的 power 就会迸发出来,这个意义更大。

@邱隆华为:底层硬件和驱动是华为的,通过和百度合作定制,开放接口,最终应用于百度系统,效果大家都看到了。图片是华为的第三代 SSD 卡,当前已经进入第四代,性能是号称最强 F 友商的两倍,可靠性和工作时间均创记录,是数据加速的不二神器。相信第四代卡可以给百度继续带来更大的帮助。

@陈怀临:昨天普林斯顿的一个好朋友还问这个,好吧,你都做出来了,太牛了。

@梁斌 penny :据我了解,有一些硬件企业拿他们的产品卖百度,它们集成视频编解码、数据压缩等模块在硬件上,可能是刺激了百度,于是决定自主研发。

相关内容:

林仕鼎讲稿下载《数据中心计算与变革》

资料下载:百度网页库存储引擎 BDDB 设计简介

2013-01-15 17:243665
用户头像

发布了 156 篇内容, 共 47.8 次阅读, 收获喜欢 4 次。

关注

评论

发布
暂无评论
发现更多内容

hive 与传统数据库对比

五分钟学大数据

hive 7月日更

架构师实战营 模块八作业(设计消息队列存储消息数据的MySQL表格)

代廉洁

架构实战营

模块一作业

上善

XDD手机挖矿系统开发资料

iOS开发 · 一套iOS底层试卷-我想和你分享

iOSer

ios 面试 iOS底层 iOS 知识体系

Yuumi悠米挖矿APP系统开发模板

架构师实战营 模块八总结

代廉洁

架构实战营

完了,又火一个项目

程序员鱼皮

JavaScript GitHub Vue 大前端 React

Ubuntu Server 20.04搭建kafka集群

玏佾

kafka kafka配置 kafka数据 Ubuntu20.04

TP钱包Defi挖矿系统开发【专业定制】

获客I3O6O643Z97

区块链 DeFi质押挖矿 质押挖矿

Uranus天王星系统软件开发介绍

记一次简单的渗透测试

网络安全学海

黑客 网络安全 信息安全 漏洞

数据库部署在Docker中,Are You Crazy ?

喵叔

7月日更

淘筱优软件开发|淘筱优APP系统开发

趣玩吧EVO软件系统开发方案

FIL币挖矿合法吗?FIL挖矿会叫停吗?

果果世界APP系统开发内容

FIL分币系统源码开发App

获客I3O6O643Z97

IPFS怎么挖矿 ipfs有什么用 质押挖矿 fil币

Dlx Coin手机挖矿系统软件开发公司

yarn 的基本介绍和产生背景

大数据技术指南

YARN 7月日更

币安链智能合约Dapp系统开发方案

薇電13242772558

智能合约

学点项目管理,对咱程序员很重要~

后台技术汇

项目管理 项目管理工具

bzb矿机软件系统开发

你有多少密码是123456

MySQL从删库到跑路

密码管理

第八课作业

杰语

Go 语言中一些不太常见的优化

Xargin

性能优化 后端 Go 语言

Python+OpenCV创建级联文件(Windows7/10环境)

不脱发的程序猿

Python OpenCV 目标对象识别 OpenCV创建级联文件

小牛XNT挖矿APP系统开发

如何高效便捷的画出炫酷神经网络图

不脱发的程序猿

人工智能 神经网络图工具 神经网络可视化

BJIA数字星座乐园软件系统开发模板

百度南京数据中心:数据中心计算与变革_云计算_贾国清_InfoQ精选文章