写点什么

eBay 使用 Hadoop 和 HBase 成功构建下一代搜索

  • 2011-11-23
  • 本文字数:1078 字

    阅读完需:约 4 分钟

eBay 在 Hadoop 世界(Hadoop World) 大会的主题演讲中展示了一种全新的搜索引擎 Cassini 的架构,该引擎预计在 2012 年上线。它对所有的内容和用户的元数据进行索引来得到更好的排名,并每小时刷新索引。它使用 Apache Hadoop 来支持每小时进行的索引更新,使用 Apache HBase 对随机存取信息提供支持。Hugh E. Williams(eBay 交易市场的搜索平台和体验部门的副总裁)发表了演讲,介绍了项目的规模、使用的技术和完全重建 eBay 核心站点搜索过程中得到的经验。这次重建工作由 100 多位工程师耗时 18 个月完成。新 Cassini 平台将能支持:

  • 9700 万活动的买家和卖家
  • 每天 2.5 亿次查询
  • 2 亿多件商品和 5 万多种分类

eBay 已经在 Hadoop 和 Teredata[1] 集群存储了 9PB 用来做分析的数据,但这将是生产环境里提供给用户直接使用第一个应用。新系统将会比当前的系统(Galileo)规模更大:

老系统: Galileo 新系统: Cassini 10 个排名因子 100 个排名因子 默认只匹配标题 默认使用所有字段匹配 上线、监测、修复需要人工干预 上线、监测、修复不需要人工干预 Cassini 将保留 90 天的历史数据在线——按照目前的规模是 10 亿条数据记录,包括用来做排名的用户和行为数据。支持搜索系统所需的大部分工作是由每小时在 Hadoop 上运行的批处理作业完成的。各种不同索引将在同一集群中生成(对 Galileo 的一项改进)。Hadoop 环境使 eBay 能够恢复或重新分类整个站点的库存,这是一项重大改进。

记录存储在 HBase 里,通常在每个小时索引更新的时候进行扫描。当一条新的记录上线,几分钟内就能从 HBase 里进行查询,并被加入实时索引里。HBase 还支持批量和增量写操作和快速读写记录注释。

Williams 提到,团队熟悉 Hadoop 的运维,系统运行很稳定,基本没出什么问题。与此相反,他指出 HBase 似乎很难驾驭。Williams 表示 eBay 仍然致力于使用该技术,向社区提交发现的问题的补丁。在过去的两个星期里,事情已经顺利很多了。团队对于使用 HBase 还是新手,在测试规模的时候遇到一些问题:

* 产品集群的负载配置

* 硬件问题

* 稳定性:不稳定的区域服务器,不稳定的主服务器,在切换的时候区域服务被堵塞

* 监控 HBase 的健康:往往直到问题影响到线上服务的时候才被发现,尽管团队已经加入大量的监控装置

* 管理多步 MapReduce 作业

总体来说,Williams 觉得项目虽然宏大,但是目前进展顺利,团队已经使用 Hadoop 和 HBase 构建出一种显著改善的搜索体验。

译注

[1] Teradata 是数据仓库创新和分析性解决方案开发领域公认的全球领先者. 主页: http://www.teradata.com

查看英文原文: eBay readies next generation search built with Hadoop and HBase

2011-11-23 01:186165

评论

发布
暂无评论
发现更多内容

吐槽对象

顿晓

对象 5月日更

TcaplusDB君 | 行业新闻汇编(5月11日)

tcaplus

数据库 游戏

「技术人生」专题第1篇:什么是技术一号位?

阿里巴巴中间件

这个云原生开发的痛点你遇到了吗?

阿里巴巴中间件

传统BI如何转大数据数仓

数据社

大数据 BI 5月日更

70%读写性能提升!基于UCloud对象存储US3的用户态文件系统设计

UCloud技术

对象存储

必看:Kubernetes 开发环境对比

百度开发者中心

Kubernetes #技术课程#

自主品牌实力认可!浪潮云洲亮相2021年中国品牌日

浪潮云

云计算

由高频护网设备漏洞引发的供应链浅思

Thrash

安全

技术笔记(语音识别-语音噪声分类)

攻城先森

噪声 5月日更 技术笔记

新场景+新模式,西安雁塔区打造数字人民币示范区

CECBC

浅析以太坊网络状态平台架构及WebSocket

devpoint

区块链 以太坊 websocket

GitLab Webhooks 使用

夏兮。

gitlab jenkins CI/CD WEBHOOKS

MySQL 到 ClickHouse 的高速公路

青云技术社区

MySQL 数据库 Clickhouse

姚翔:递归零知识证明,如何打造简洁的区块链?

CECBC

区块链

​ 备份测试:备份为什么如此重要

全新 EMQ X Cloud:升配、降费、增效,助力企业智能化升级

DT极客

跟着华为大佬学习—Java亿级高并发,第一天

Java架构师迁哥

⚓【Java知识晚餐】精心准备的JVM分析工具⚓

洛神灬殇

Java JVM 5月日更 JVM分析工具

SaaS的前世、今生与未来 [上篇]

LigaAI

SaaS

微软为什么要对jdk下手?阿里对JDK的理解又是什么样的?

Java架构师迁哥

快速搭建接口自动化测试框架

夏兮。

Java JUnit 接口测试 rest-assured

Python监控打印机队列

IT蜗壳-Tango

IT蜗壳 IT蜗壳教学 5月日更

iOS 开发:第三方开源库(Swift版)

迪安

移动开发 Framework iOS Developer Open Source

TcaplusDB君 · 行业新闻汇编(5月11日)

TcaplusDB

数据库 nosql 数据 TcaplusDB

客制化:定制专属于你的产品和服务

石云升

产品 用户 职场经验 5月日更

​ 如何保护IP并预防IP泄露

为什么人类学家比经济学家对比特币更感兴趣

CECBC

eBay使用Hadoop和HBase成功构建下一代搜索_DevOps_Ron Bodkin_InfoQ精选文章