写点什么

Percolator:大数据集增量更新系统

  • 2010-10-24
  • 本文字数:1728 字

    阅读完需:约 6 分钟

随着需要收集和处理的数据规模以惊人的速率增长,曾经只有 Google 级别的系统才会遇到的可伸缩性需求变得更普遍,并常常需要专门的解决方案。Daniel Peng 和 Frank Dabek最近发表了一篇论文,介绍 Google 索引系统 Percolator 的技术细节。Percolator 目前运行在数千台服务器上,存储了数十 PB 的数据,并且每天要处理数十亿次的更新。

在抓取网页的同时进行索引更新,意味着在新文档不断加入时,需要对已有的总文档库进行持续地更新。这是通过小规模、独立的变换实现海量数据转换任务的一个典型范例。现有的技术基础平台恰恰不能胜任这样的任务:传统 DBMS 无法满足存储量和吞吐率的需求,而 MapReduce 和其它批处理系统无法逐个处理小规模更新,因为它们必须依赖于创建大量的批处理任务才能获得高效率。

Daniel 和 Frank 解释说,尽管索引的过程是一项批处理任务,可以通过一系列的 MapReduce 操作来表现。但每次重新爬完一些页面后要更新索引的时候,由于新增文档和已有文档之间存在链接引用的关系,只对增量部分运行 MapReduce 操作是远远不够的,实际上必须基于整个文档库进行 MacReduce 操作。事实上在 Percolator 出现之前,索引就是以上述的方式更新的。这样带来的主要问题就是由于要对整个文档库重新处理而产生的延迟。

解决此问题的关键是优化增量数据的处理方式。Percolator 的一个关键设计理念是:提供对库中文档的随机访问,以实现对单个文档的处理,从而避免了像 MapReduce 那样对文档全集进行处理。Percolator 通过“快照隔离”实现了遵从 ACID 的跨行及跨表事务,从而满足多线程在多台服务器上对文档库进行转换操作的需求。Percolator 还提供了“观察者(observer)”机制,在用户指定的列发生更新之后,这些观察者会被系统触发,以帮助开发者追踪计算过程所处的状态。

论文作者补充到:

Percolator 是专门针对处理增量更新而设计,但不是用于取代大多现有的数据处理解决方案。那些不能被拆分为单个微小更新的计算任务(比如对一个文件排序)仍然最好由 MapReduce 承担。

Percolator 更适合于在高一致性及在数据量和 CPU 等方面有很高需求的计算任务。对于 Google 来说,它的主要用途是将网页实时地添加到 Web 索引中。运用 Percolator,Google 可以在抓取网页文档的同时来对文档进行处理,从而将平均延迟降低为原来的百分之一,平均文档寿命(document age)降低 50%。

Percolator 建立于分布式存储系统 BigTable 之上。集群里的每台服务器上运行着三个可执行文件:worker, BigTable tablet 服务器 Google File System chunkserver 服务器

所有观察者都被关联到 Percolator worker 上,后者会对 BigTable 进行扫描,一旦发现更新过的列就会在 worker 进程中以函数调用的方式触发(“notification”)相应的观察者。观察者通过向 BigTable tablet 服务器发送读、写 RPC 请求来运行事务,继而触发后者向 GFS chunkserver 服务器发送读、写 RPC 请求。

Percolator 没有提供用于事务管理的中心服务器,也没有全局锁侦测器。因为 Percolator 不需要像运行 OLTP 任务的传统 DBMS 一样,对低延迟有很高要求,所以它采取了一种延迟的方式来清理锁,也因此在事务提交时造成了数十秒的延迟。

这种方法增加了事务冲突时的延迟,但保证了系统可以扩展到几千台服务器的规模……尽管增量数据处理在没有强事务的情况下也能进行,但事务使得开发者更容易地去分析系统的状态,并避免将错误引入到长时间运行的文档库中。

Percolator 的架构可以在普通廉价服务器集群上线性扩展多个数量级。在性能方面,Percolator 处于 MapReduce 和 DBMS 之间。和 DBMS 相比,在处理同样数量的数据情况下,Percolator 由于其分布式架构,资源消耗远大于 DBMS,同时它还引入了约 30 倍的额外性能开支。和 MapReduce 相比,Percolator 可以以低很多的延迟来处理数据,同时需要额外的资源来支持随机查找。Percolator 自 2010 年 4 月开始为 Google web 搜索提供索引,它利用合理的额外资源消耗,获得了更低的延迟。

不知道读者们是否看见或者预见了对处理海量数据集的快速增长的需求了没有?前不久 Phil Wehlan 问了同样的问题,希望大家给他提供反馈。

查看英文原文: Percolator: a System for Incrementally Processing Updates to a Large Data Set

2010-10-24 20:009661

评论

发布
暂无评论
发现更多内容

Uniapp开发鸿蒙应用教程之选项式api和组合式api

幽蓝计划

飞桨x昇腾生态适配方案:15_loop算子缺失(下):for循环替换loop

小顺637

飞桨 昇腾

MES一物一码+二维码管理:从原料到成品的透明化追踪

万界星空科技

制造业 mes 一物一码 万界星空科技mes 二维码巡检

某平台连续三年通过等保测评,但某天突然收到勒索信

黑龙江陆陆信息测评部

基于 Amazon Bedrock 和 Amazon Connect 打造智能客服自助服务 – 设计篇

亚马逊云科技 (Amazon Web Services)

LED显示屏:高亮度与低功耗如何选择

Dylan

屏幕亮度 LED LED display LED显示屏 LED屏幕

YashanDB|UPDATE 中用子查询赋值报错?换个写法就能兼容

数据库砖家

数据库

如何让财务规划引领企业变革,并实现持续的成本优化?

智达方通

企业管理 财务管理 财务规划

懒猫微服太全面了

玄兴梦影

Docker NAS 懒猫微服 AI 大模型 应用商店

SpringBoot中的拦截器江湖

量贩潮汐·WholesaleTide

spring

垂死病中惊坐起,笑问产品改哪里?CodeBuddy + Figma MCP 翻盘地狱任务

不惑

CodeBuddy首席试玩官

审批节点自定义按钮,开启高效审批

引迈信息

淘宝图片搜索item_search_img接口 轻松获取Api

代码忍者

HarmonyOS 5.0 低时延音视频开发​​

威哥爱编程

京东商品详情API接口攻略

tbapi

京东API 京东商品详情API

AI工具的真相与幻象:从客服看AI应用的理性边界

松子(李博源)

AI #大模型

【HarmonyOS 5】App Linking 应用间跳转详解

深海的鲸同学 luvi

鸿蒙 HarmonyOS HarmonyOS5.0 实践分享

玩转HarmonyOS NEXT网络请求:从新手到高手的实战秘籍

程序员Feri

HTTP HarmonyOS NEXT

飞桨x昇腾生态适配方案:13_API离线推理

小顺637

飞桨 昇腾

等保测评公司、漏洞扫描有哪些好处?

黑龙江陆陆信息测评部

好哥哥因为没有搞清楚同步完成和异步完成导致代码死循环了这档事

newbe36524

深度解析淘宝天猫店铺所有商品API接口,一文带你吃透

tbapi

淘宝API 天猫API 天猫店铺所有商品接口 淘宝店铺所有商品接口 淘宝店铺数据采集

飞桨x昇腾生态适配方案:12_动态OM推理

小顺637

飞桨 昇腾

gozero限流、熔断、降级如何实现?面试的时候怎么回答?

王中阳Go

Go gozero

非计算机专业 0 门槛上手 Trae|知识库精选

火山引擎开发者社区

火山引擎

YashanDB|Oracle 里的 XMLAGG 迁不过来?换成 WM_CONCAT 就对了

数据库砖家

数据库

国家信息安全等级保护三级认证定义以及流程简单讲解

行云管家

网络安全 数据安全 等保 等保测评

飞桨x昇腾生态适配方案:14_loop算子缺失(上):ONNX模型拆分

小顺637

飞桨 昇腾

《算法导论(第4版)》阅读笔记:p32-p38

codists

算法

Canvas 绘制进度条

cfx

鸿蒙 HarmonyOS 鸿蒙Next HarmonyOS NEXT

卡牌游戏的开发流程

北京木奇移动技术有限公司

软件外包公司 游戏外包公司 游戏开发公司

Percolator:大数据集增量更新系统_Google_Jean-Jacques Dubray_InfoQ精选文章