写点什么

Yelp 的广告分析系统从 MySQL 迁移到了 Cassandra 上

2016 年 8 月 18 日

根据 Yelp 今年第二季度财报,本地广告商数量已经约有12.8 万个。Yelp 的广告系统每天都要结算上一天广告被查看的次数和点击数,以及对应需要支付的费用。基于这样的结算数据,Yelp 要生成账单以及各种各样的报告。

广告系统后台团队最近把底层数据存储从MySQL 换成了 Cassandra ,软件工程师 Qui N. 和 Shafi B. 发表文章简单介绍了改变的原因,并分享了一些向 Cassandra 迁移的经验。

在 Yelp 公司创立初期,我们把广告数据存储在了 MySQL 中。伴随着系统规模扩大和广告产品的演进,我们发现 Cassandra 才是更好的选择。我们并不需要传统关系型数据库的特性,因为我们没有什么事务操作,也不需要对数据表进行联合查询。Cassandra 对我们最大的好处就是方便扩展存储、有弹性的模式定义和高写入性能。

具体来说就是:

  • 方便扩展存储:Cassandra 是分布式系统,只需要增加节点就可以扩充存储空间;
  • 有弹性的模式定义:业务需求会经常要求改动数据的模式定义,Cassandra 很适合做这样的事;
  • 高写入性能:Cassandra 写入性能是非常高的,Netflix 曾经在一次测试中达到每秒超过 100 万次的写入;由于 Yelp 的广告数据越来越多,写入必须保持在有限的时间内完成;

文章重点是与大家分享在使用 Cassandra 的过程中得到的经验。

1、把查询语句和表的模式定义放在一起综合考虑:Cassandra 本质上是结构型的键 - 值型存储,表的主键选择对后续的查询语句性能影响非常大。Cassandra 的表主键包括分区键和集合列,前者决定了数据能否均匀分散到多个节点上,后者决定了相同分区键的数据在同一个分区内如何排序。要根据查询语句决定表的定义,反之也要根据表的定义来改写查询语句,两者综合才能达到最佳性能。

2、数据行定义会影响数据压缩:Cassandra 的数据压缩就是合并对数据的更新操作的过程。业务程序更新数据的次数和方式决定着该选择 Cassandra 的哪种压缩策略。

其根本原因在于在 Cassandra 底层是把属于每个分区键的数据以宽行存储的。以 Yelp 的业务举例,以 campaign_id 为分区键,以 day 为集合列,那么在底层数据其实是这样存储的:

而不是大家想当然的这样:

Cassandra 的默认策略 size-tiered compaction 合并操作并不频繁,而 leveled compaction 会保证未合并的对相同分区键的更新操作不会超过一定数量,因此虽然在写入时会造成更多的 I/O,却对统计查询有比较好的性能,因此更适合 Yelp 的业务。

3、迁移到 Cassandra 会增大写入量:使用 MySQL 会希望表设计遵守范式,可使用 Cassandra 之类的 NoSQL 数据库,违反范式反而常常会获得更好的性能。虽然 Cassandra 出色的写性能在一定程度上可以弥补这一代价,但千万不要对此掉以轻心。

4、Cassandra 的批量操作语句很有用:MySQL 的批量操作语句常用来提高性能,可是Cassandra 的批量操作语句却常常只是用来保证原子性的。因为Yelp 选用的 cqlengine 在底层写入操作是同步的,在写入量大的情况下就性能堪忧,因此他们最终通过批量写入来解决这个问题。批量操作上线后立刻将写入性能提高了一倍。

5、TTL 机制可能带来的麻烦更多:Cassandra 支持为每个字段设置生命期(Time To Live,TTL),如果某个字段设置了 TTL,那么在过期之后就会自动删除,不再需要用户操心。可是对于 Yelp 的这种分析型业务,由于需求的不确定性,设置这种 TTL 数据可能还不如定期检查删除一遍对整个系统影响更小。

相对于 MySQL,Yelp 因为 Cassandra 的易扩展、有弹性的模式定义和高写入性能等特性而选择了后者。如果你也在构建一个写入量很大的系统,或者在重构系统,那 Yelp 的经验也许会对你有用。


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016 年 8 月 18 日 19:002525
用户头像

发布了 152 篇内容, 共 59.8 次阅读, 收获喜欢 54 次。

关注

评论

发布
暂无评论
发现更多内容

PostgreSQL 的审计和权限控制系统

GrowingIO技术专栏

postgresql

分布式认知工业互联网的更多“玩法”介绍

CECBC区块链专委会

中文技术文章排版

KooFE前端团队

6 月日更

想听世界上最懂 JavaScript 的人和你讲JavaScript 吗?

博文视点Broadview

SkipGram

Qien Z.

nlp 6月日更 SkipGram negative sampling CBOW

网络基础:HTTP 服务介绍

看山

网络 HTTP 6 月日更

【Vue2.x 源码学习】第九篇 - 对象数据变化的观测情况

Brave

源码 vue2 6 月日更

太顶了!可以直接写在简历上的项目白皮书+源码+开发手册限时白嫖!

程序员小毕

Java 程序员 架构 面试 分布式

再谈业务信息化操作系统(BIOS)

孤岛旭日

中台 企业架构 平台

springboot启动流程之createApplicationContext

梦倚栏杆

读深入ES6记[三]

Daniel

ES6 6月日更 6 月日更

手撸Spring框架,设计与实现资源加载器,从Spring.xml解析和注册Bean对象

小傅哥

spring 小傅哥 资源加载器 解析xml 注册Bean对象

算法训练营笔记导航

IT蜗壳-Tango

IT蜗壳教学 6 月日更

教你在Kubernetes中快速部署ES集群

华为云开发者社区

Kubernetes 监控 中间件 集群 ES集群

公安警情大数据情报研判分析系统开发,可视化大屏开发

13823153121

Go Runtime的调度器

面向加薪学习

golang 开发 Go 语言 Go 语言从入门到实践

小程序电商系统微服务拆分

知莫问

【21-2】什么是 PowerShell

耳东

windows PowerShell 6月日更

万亿级母婴市场蓄势待发,户外广告助力品牌实现突围!

󠀛Ferry

6月日更

【Flutter 专题】108 图解 PageView 滑动页面预览小尝试

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 6 月日更

Java 并发编程—— ThreadPoolExecutor 分析应用

Antway

6月日更 6 月日更

请问我要做全栈程序员么?听说更厉害更赚钱?

程序员鱼皮

Java c++ Python 前端 全栈

面试了两个月 我人都麻了...

代码熬夜敲

面试 网络安全 信息安全 渗透测试 Kail linux

低内聚:说是小需求做似趟雷区

Jxin

Vue.js项目无法启动:sh: 1: vue-cli-service: not found

codists

vue.js

高性能JavaScriptの结语 -- 学完了

空城机

JavaScript 6月日更

week6 作业

Geek_2e7dd7

架构实战营

Kubernetes手记(6)- POD 配置清单

雪雷

k8s 六月日更

终于有人把https解释得这么直白了!

代码熬夜敲

运维 网络安全 https 渗透测试 WEB安全

Packer 自动化镜像构建

HoneyMoose

vue3之糟糕透顶Api——Reactivity

法医

前端 Vue 3 6 月日更

技术为帆,纵横四海- Lazada技术东南亚探索和成长之旅

技术为帆,纵横四海- Lazada技术东南亚探索和成长之旅

Yelp的广告分析系统从MySQL迁移到了Cassandra上-InfoQ