AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

百度技术沙龙第 49 期回顾:大规模分布式存储(含资料下载)

  • 2014-04-29
  • 本文字数:1912 字

    阅读完需:约 6 分钟

2014 年 4 月 19 日,在由 @百度主办、 @InfoQ 负责策划组织和实施的第 49 期百度技术沙龙活动上,来自百度运维部 MFS 组技术负责人程一仕,和目前负责整个搜狐云服务的后端存储和数据库系统的开发和运营陈伟,各自分享了其在大规模分布式存储的实战经验。他们的话题涉及“MooseFS 和 redis 在海量存储下的架构改进和性能提升”和“高性能 NoSQL 系统 BladeCube 的设计与优化”这两个方面,本文将对讲师各自的分享做简单的回顾,同时提供相关资料的下载。

主题一:MooseFS 和 redis 在海量存储下的架构改进和性能提升(下载讲稿

程一仕通过对MooseFS 的单点master 的架构升级,来提升系统的性能和扩展性,进而支撑百度的众多业务。他使用redis 的代理中间层构建高可用的分布式redis 集群来满足产品的低延迟,大数据量的业务需求。这两个系统广泛应用于百度商业产品体系,LBS 产品体系,数据库文件热备等在线业务,并支撑大量关键服务。

在线应用数据

“MosseFS 和redis 大家都比较了解,因为很大的技术架构方面我讲的比较少。先介绍一下应用数据,存储量大概是10PB 以上,比如说大家用百度影音,它主要应用的场景还是在商务系统,包括凤巢的报表,文件的数量大概是3 亿左右,我们大概有20 个群左右的数量,单个集群的规模大概可以到1000 左右。”

中心化节点的设计和问题

master 的功能

  • 客户端对元数据的访问和变更请求
  • chunkserver 之间的数据容量调整
  • 元数据的存储和持久化
  • 集群健康状态的维护

master 的局限和隐患

  • 性能瓶颈
  • 单点故障(single point of failure)

主从架构扩展性能瓶颈

“我们做的第一个改进就是开发一个 Shadow master,我不保证它的同步是一致的。大家对存储了解一点的都知道,我的访问有延迟。客户端这边会把这个全部发到 Shadow master 上面去。”程一仕使用 redis 的代理中间层构建高可用的分布式 redis 集群来满足产品的低延迟,大数据量的业务需求。

主题二:高性能 NoSQL 系统 BladeCube 的设计与优化(下载讲稿

BladeCube 系统是搜狐自己开发的一套 NoSQL 系统,陈伟的设计参考了 BigTable 和 HBase,使用 C++ 实现,性能优于 HBase,以下主要讲一下搜狐云服务在设计和优化这个系统时的一些心得。

MySQL 的可扩展性太差,分库分表带来的运维太大,无法搞定,主从结构的一致性也难以保证读写性能差,变 schema。包括 MongoDB 在内的数据库,在真正面对超大规模数据时,难以保证性能和可用性。超过十亿之后性能问题,潜在的 bug,丢数据等。持久化和内存放在一起,不能充分利用资源。

分层结构的优势,目标是减少运维开销,大部分错误能够自动恢复,不影响服务。

“最近一有一些比较新的开源系统宣传的很美好,但是真的用起来会有很多问题,我们有过一些测试。比如说超过 10 亿量级以后,在响应的性能上,以及它的某些丢数据的行为都是我们不能容忍的,因此我们抛弃了这些选择。”陈伟说。

“C++ 实际上性能是非常好的,跟 HBase 对比的过程中,我们可以发现在架构基本一致的情况下,我们通过一些比较好的编程的实现以及内部的优化,可以在性能上做到三倍、四倍,甚至更高。但是 C++ 也有一个问题,它的调试和开发周期都比 java 困难,为什么开源系统都采用 Java 来实现,但是实际上对于我们严肃的来完成一个基础架构的话,Java 虽然有天花板,但是用 C++ 可以更好的控制内存,可以把系统做的非常好。”

OpenSpace(开放式讨论环节)

为了促进参会者与我们每期的嘉宾以及讲师近距离交流,深入探讨在演讲过程中的疑问,本次活动依然设置了 Open Space(开放式讨论)环节。在 Open Space 的总结环节,几位话题小组长分别对讨论的内容进行了总结。

夏粉:深度学习话题在现在大数据时代将会越来越火,我在演讲时算是为大家抛了个砖,互动过程中大家问了许多实际的问题,希望我的解释能给大家带来一些帮助。

王晓博:关注机器学习的同学热情很高,夏老师讲的干货很多,但只要不涉及关键商业化数据,比如百度广告点击的具体数字,这些模型公布出来对大家的学习还是很有好处的。希望下次主办方能准备相关话题,这样在 Open Space 时,讲师可提前做一些准备,为听众做更针对性的解答。

会上,一些参会者也通过新浪微博分享了他们的参会感受:

程序猿刘静:Tradeoff every details

_ 胡凯 _ :碉堡了!居然中头奖

韩占康_ 极简:原来技术高地在搜狐啊,哈哈。

有关百度技术沙龙的更多信息,可以通过新浪微博关注 @百度技术沙龙,或者关注 InfoQ 官方微信:infoqchina,InfoQ 上也总结了过往所有百度技术沙龙的演讲视频和资料等,感兴趣的读者可以直接浏览内容

特别提示:第50 期百度技术沙龙将在5 月17 日,周六,在北京车库咖啡举行,主题为前端应用相关内容,欢迎关注 @InfoQ @百度技术沙龙获取后续的活动信息。

2014-04-29 07:394330

评论

发布
暂无评论
发现更多内容

NineData中标!移动云数据库传输项目(2023)

NineData

移动云 玖章算术 NineData 中标 数据库传输

ECMAScript 2023新增特性

数新网络官方账号

代码随想录Day49 - 动态规划(十)

jjn0703

如何在App里拉起小程序?

没有用户名丶

选择LED显示屏的点间距指南

Dylan

像素 LED显示屏 led显示屏厂家 屏幕

龙蜥白皮书精选:云原生混部资源隔离技术

OpenAnolis小助手

开源 云原生 白皮书 内核 龙蜥社区

避雷干货丨初创或中小企业公司该如何选择云服务器?

YG科技

代码随想录Day48 - 动态规划(九)

jjn0703

ARTS 打卡第 13 天

自由

【聚梦想 创非凡】首场荣耀开发者沙龙(上海站)圆满落幕

荣耀开发者服务平台

全链路压测与普通压测的区别

优测云服务平台

微服务 性能测试 压力测试 全链路追踪 全链路

数据分析实战│价格预测挑战

TiAmo

数据挖掘 数据分析

字节跳动基于DataLeap的DataOps实践

字节跳动数据平台

大数据 数据中台 数据研发 企业号 8 月 PK 榜

R语言之数据获取操作

timerring

R 语言

KaiwuDB 荣获哈佛商业评论 2023“高能韧性团队奖”

KaiwuDB

KaiwuDB 高能韧性团队

MurmurHash 真的比 MD5 速度快吗?

向东是大海

murmurhash

云原生批量计算引擎 Volcano社区v1.8.0版本正式发布

华为云开发者联盟

云原生 后端 华为云 华为云开发者联盟 企业号 8 月 PK 榜

2024CITE中国电子信息博览会(电博会)

AIOTE智博会

电子展 深圳电子展 电子信息展 电博会

直播APP开发,协议盘点(五):实时传输协议RTP

山东布谷科技

软件开发 rtp APP开发 直播APP开发 实时传输协议

GC面临的困境,JVM是如何解决跨代引用的?

Java随想录

Java JVM

科兴未来 | 百万奖金!香港科大,2023人工智能国际创业大赛启动!

科兴未来News

人工智能 双创比赛 香港科大 香港

透彻了解 JavaScript 闭包:使用场景和常见问题解答

Apifox

JavaScript 编程 前端 后端 闭包

ARTS 打卡第 2 周(8.21~8.27)

向东是大海

ARTS 打卡计划

专业PDF编辑和阅读软件:PDF Expert for mac激活中文

胖墩儿不胖y

PDF编辑 pdf编辑工具 编辑pdf

探索GreatADM:图形化部署MGR的全新体验

GreatSQL

自动化平台 greatsql

利用大模型反馈故障的解决方案

观测云

根因分析 自动化运维

轻松玩转70亿参数大模型!借助Walrus在AWS上部署Llama2

SEAL安全

Seal软件 AI大语言模型 企业号 8 月 PK 榜 Walrus llama-2

百度技术沙龙第49期回顾:大规模分布式存储(含资料下载)_语言 & 开发_景琦_InfoQ精选文章