Spotify 将技术基础设施和数据服务迁移至 Google 云平台

阅读数:418 2016 年 3 月 10 日

话题:Google架构

2016 年 2 月 23 日,Spotify 宣布正将其技术基础设施和数据服务从目前租用的数据中心迁移至 Google 云平台(Google Cloud Platform,下同)。

Spotify 是一个流行的音乐流媒体服务。它目前支持着 200 万播放列表,为超过 7500 万听众提供超过 2000 万小时的音乐。随着该业务逐年成长,Spotify 团队正质疑自己是否愿意继续独立运营数据中心。几年前该公司认为公有云服务不能满足他们对于质量、性能和价格的期望,因此他们没有迁移到(公有)云上。Spotify 工程和基础设施副总裁 Nicholas Harteau,在最近的一篇博文中,解释了现在决定迁移到(公有)云上的部分原因:“云服务提供商提供的存储、计算和网络服务已经和传统方式一样,做到了高质量、高性能和廉价。于是,我们就很容易地做出了迁移到(公有)云上的决定”。

最近Rightscale 做的一项“关于云的调查”表明,在公有云的使用率方面,Google 云平台排名第三,位居行业领导者 AWS 和微软 Azure 之后。Google 在该领域不是领先者,Harteau 解释了为什么他们最终选择 Google:“真正起决定作用的是,一直以来我们使用 Google 的数据平台和工具的体验。好的基础设施不只是保存和运行一些东西,它能让我们所有的团队更高效、高有效地工作。Google 的数据栈的确帮我们做到了这些”。

Google 对成为 Spotify 的合作伙伴同样很兴奋,在它自己的博文中,披露了 Spotify 将如何使用 Google 云平台的一些具体细节。就计算服务而言,Spotify 将依赖于 IOPS SSD 和 local SSD 的高性能存储能力。他们也将利用自动扩容能力以便对“突发的场景”作出响应。其中一个这样的例子是去年 11 月 13 日 Justin Bieber 创造了单日最多音乐流的记录——超过 3600 万条流于该日被收听。使用公有云模型,Spotify 现在可以不用自己搭建基础设施,而是依赖 Google 提供灵活性来支持高峰负荷。

Spotify 也将使用 Google 的网络服务,如:Direct Peering, Cloud VPNCloud Router,以便高效地在这两家公司之间传送 PB 级的数据。

就数据服务而言,Spotify 将放弃 Hadoop, MapReduce, Hive 而采用包括 Google 云服务,包括Google Cloud Pub/Sub,Google Cloud Dataflow, Google BigQueryGoogle Dataproc。Google 云平台带头的销售工程师 Guillaume Leygues 解释了 Spotify 为什么迁移到这些 Google 服务:“使用 BigQuery 和 Cloud Dataproc,数据团队可以执行复杂的查询并在一两分钟内而不是数小时内得到查询结果。这将使 Spotify 能够执行更多频繁、深入的、交互性的分析,指导产品的开发,新特性的测试和更多智能的、面向用户的特性”。

查看英文原文:Spotify Moves Infrastructure and Data Services to Google Cloud Platform