大数据公司LiveRamp上云记(五):如何使用云原生技术重构本地系统

2020 年 2 月 23 日

大数据公司LiveRamp上云记(五):如何使用云原生技术重构本地系统

接下来呢?

在之前的迁移文章中,我们问过自己:

最后也最令人兴奋的问题是,“接下来会发生什么?”,“我们该如何重新设计从而充分利用 GCP 平台的优势?”。

技术

虽然我们没有将现有的基础设施直接迁移到 GCP 上,最终做了不少改动,但我们在第一天还是使用了很多 GCP 的工具:

扩展:这很显然,但是能够在需要实例的时候添加它们而在不需要的时候关闭它们,这是一个能改变游戏规则的能力。我们最大的批处理图形构建程序在运行时需要大量资源,但其只占一半的运行时间。在本地环境下,这意味着我们必须为峰值容量提供物理机器,而在 GCP 中,我们可以在不需要机器的时候自动关闭它们:

Google Kubernetes Engine(GKE)+Google Container Registry(GCR):到目前为止,我们做的最大的重构就是消除了的本地 Chef 环境,转而支持 Kubernetes(通过 GKE),并在 GCR 中存储镜像。虽然这是一项庞大的工程,但花费的时间却是 100% 物有所值。

云存储(GCS):我们正在用 GCS 完全取代 HDFS 环境。采用对象存储可以使我们更灵活地迭代计算基础设施,而且不会有数据丢失的风险。

原文链接:【 https://www.infoq.cn/article/ZbVTPDZkoBEp7ymhjpvi 】。未经作者许可,禁止转载。

登录后可解锁全站优质内容

免费畅享技术公开课、顶尖技术团队访谈、一线互联网大厂技术实践

文章
视频
电子书
研究报告
立即登录
2020 年 2 月 23 日 09:00 949

评论

发布
暂无评论
发现更多内容

【架构师训练营】第 10 周总结

花生无翼

OAuth 2.0

陈皮

Dubbo微服务调用时序图及微服务架构个人见解

潜默闻雨

架构师训练营 Week 10 作业

Wancho

微服务架构一点思考和认识

张磊

架构师培训 -10 微服务、秒杀

刘敏

week10 作业

雪涛公子

对中台思维的思考

朱月俊

架构师训练营Week10作业

Frank Zeng

【架构师训练营 - week10 -1】作业

早睡早起

微服务&DDD

极客大学架构师训练营

芯片破壁者(十二.上):“大头儿子”模式下的韩国半导体

脑极体

极客大学架构师训练营 0 期 week 10 作业

chun1123

dubbo DDD

微服务与DDD

走过路过飞过

对微服务架构的理解

朱月俊

面试官:您能说说序列化和反序列化吗?是怎么实现的?什么场景下需要它?

xcbeyond

Java 面试题 序列化

week10 总结

雪涛公子

练习 10-1

闷骚程序员

Eureka常见问题汇总及注意事项

xcbeyond

Java SpringCloud Eureka 服务注册与发现 常见问题

微服务&DDD&中台

dony.zhang

中台 微服务 DDD

来自面试官的技术面试题

xcbeyond

Java 数据库 自我介绍 面试经验

Week10总结

张磊

week 10 总结

a晖

堆栈神奇应用之CXO让我做一个计算器!!

架构师修行之路

数据结构 堆栈

架构师训练营 Week 10 总结

Wancho

【架构师训练营】第十期作业

云064

hive拉链表优化·百亿量级数据支持准实时更新

誓约·追光者

hive 实时数仓 海量数据库的设计与实践

week 10作业

a晖

架构师训练营Week10学习总结

Frank Zeng

架构师训练营第十周作业

吴吴

极客大学架构师训练营 --第10周

李朋

大数据公司LiveRamp上云记(五):如何使用云原生技术重构本地系统-InfoQ