写点什么

Google 可拓展性会议报告

2007 年 6 月 26 日

在一篇 blog 文章中,微软的 Dare Obasanjo 为大家分享了 Google 在 Seattle 召开的有关可拓展性(Scalability)的会议笔记,笔记的内容由 Google 员工 Jeff Dean 的发言整理而来,内容包括“MapReduce,BigTable,以及其他处理大规模数据集的分布式系统抽象方式”。根据 Dare 的笔记,讨论内容涉及 Google 目前三种主要的大规模可拓展架构: GFS (Google File System),提供大规模数据集并行处理能力的软件基础设施 MapReduce ,以及为结构数据提供分布式存储的 BigTable

报告包含 Google 软件基础设施许多引人入胜的特性。关于 GFS:

目前 Google 拥有超过 200 个的 GFS 集群,其中有些集群的计算机数量超过 5000 台。Google 现在拥有数以万计的连接池从 GFS 集群中获取数据,集群的数据存储规模可以达到 5 个 PB,并且集群中的数据读写吞吐量可达到每秒 40G。

MapReduce 方面:

开发者只需要为数据集编写特定的 Map/Reduce 操作,有时甚至只需 25-50 行代码就够了,而 MapReduce 软件微架构会处理并行任务并且向分布在各处的计算机分发任务,同时处理机器错误和数据中的错误条件并进行优化操作,例如把计算过程推移到靠近数据的一方执行来减少 I/O 带来的带宽消耗,还提供了系统监控并且通过数以千计的计算机保持服务的可拓展性。

关于 BigTable:

BigTable 不是一个关系型的数据库。它不支持关联或是类似于 SQL 的高级查询。取而代之的是多级映射的数据结构。这是一种面向大规模处理、容错性强 的自我管理系统,拥有 TB 级的内存和 PB 级的存储能力,每秒可以处理数百万的读写操作。目前,BigTable 正在为 Google 六十多种产品和项目提供 存储和结构化数据获取的支撑平台。

对于那些想自己尝试 Map/Reduce 操作的人来说,Apache Lucene 的子项目 Hadoop 提供了 MapReduce 的实现方式,以及类似于 GFS 的分布式文件系统 HDFS,Hadoop 项目对于你来说将可能会是个不错的开始。

查看英文原文: Google Scalability Session Report

2007 年 6 月 26 日 21:00417
用户头像

发布了 74 篇内容, 共 93272 次阅读, 收获喜欢 1 次。

关注

评论

发布
暂无评论
发现更多内容

语音通话 2.0

anyRTC开发者

音视频 WebRTC RTC 语音通话

云通信产品专家翅飞:企业如何提升用户全生命周期管理效率?号码百科来帮忙

阿里云Edge Plus

第一个mybatis程序,实现CRUD

xiezhr

mybatis 中间件 crud

几个你不知道的dubbo注册中心细节

捉虫大师

zookeeper dubbo 注册中心

Java面试“圣经”,已助朋友拿到7个Offer!2021年金三银四面试知识点合集

Java架构追梦

Java 阿里巴巴 架构师 面试知识点总结 面试突击

史上超强拷贝仓——GitHub 热点速览 v.21.11

HelloGitHub

GitHub 开源项目

我帮大厂做架构之——微信的“N个朋友读过”怎么实现

臧萌

成长 架构师 职场成长

软件匠艺

Teobler

敏捷 敏捷开发 软件匠艺 伪敏捷

别再做智慧园区无效投入了!想要高效运行试试这个方法

一只数据鲸鱼

物联网 数据可视化 智慧城市 智慧园区

面试必备知识点!2021Android大厂面试知识分享,offer拿到手软

欢喜学安卓

android 程序员 面试 移动开发

快手四面(技术3面+HR面)已拿意向书,分享面经

Java成神之路

Java 程序员 架构 面试 编程语言

你的头发还好吗?大数据分析脱发城市哪里强

不脱发的程序猿

程序人生 数据分析 3月日更 大数据分析脱发 程序员脱发

【LeetCode】螺旋矩阵 II Java 题解

HQ数字卡

算法 LeetCode 28天写作 3月日更

Java面试“圣经”,已助朋友拿到7个Offer!2021年金三银四面试知识点合集

Java架构之路

Java 程序员 架构 面试 编程语言

吐血整理超全Java进阶教程:基础+容器+并发+虚拟机+IO

Java架构之路

Java 程序员 架构 面试 编程语言

华为在数字化浪潮下的API变革实践

华为云开发者社区

华为 架构 数字化 API API战略

APP搜索如何又快又准?

华为云开发者社区

elasticsearch App 搜索 云搜索 词库

“刚刚”顺丰校招二面+美团社招三面面经,分享给准备冲刺金三银四的你

Java成神之路

Java 程序员 架构 面试 编程语言

最高法两会报告聚焦区块链惩治抄袭,区块链在保护网络著作权方面如何作为?

旺链科技

版权保护 区块链应用

不愧为Java程序员福音 2021阿里巴巴中台架构实战重磅来袭!

比伯

Java 编程 架构 面试 程序人生

五面蚂蚁金服(4次技术面+1次HR)来看看这面试题是不是太难了!

Java成神之路

Java 程序员 架构 面试 编程语言

白话解读 WebRTC 音频 NetEQ 及优化实践

阿里云视频云

阿里云 音视频 WebRTC

带你全面认识CMMI V2.0(二)

渠成CMMI

项目管理 CMMI

大作业《云复制高级配置功能产品需求文档》

李钊悌

初识Golang之声明变量

Kylin

读书笔记 golang新手 3月日更 21天挑战 Java转go

使用Spark Mllib进行数据分析

大数据技术指南

大数据 spark 28天写作 3月日更

EFT是什么?EGG公链又是什么?一文带你了解

币圈那点事

公链 挖矿 #区块链#

大作业--联合运营平台

ALone

寻找被遗忘的勇气(十六)

Changing Lin

3月日更

还在等机会?Android岗面试12家大厂成功跳槽,最全的BAT大厂面试题整理

欢喜学安卓

android 程序员 面试 移动开发

挑灯夜战800个小时,终从外包成功上岸字节!入职那一天我眼眶湿润了「Java岗」

Java架构之路

Java 程序员 架构 面试 编程语言

Google可拓展性会议报告-InfoQ