写点什么

陆金所机房一键切换平台建设

  • 2019-08-11
  • 本文字数:1145 字

    阅读完需:约 4 分钟

陆金所机房一键切换平台建设

ArchSummit深圳2019大会上,刘俊讲师做了《陆金所机房一键切换平台建设》主题演讲,主要内容如下。


演讲简介


陆金所于 2017 年 11 月完成同城双活机房建设,在闭环 CMDB 和运维自动化变更云平台建设完成的基础上,为保证机房发生灾难情况下,将业务影响降至最低,陆金所技术运营部于 2018 年 4 月份启动了机房一键切换项目。


2018 年 12 月 1 日,陆金所用 4 分 38 秒成功将网站所有服务进行机房级切换演练(包含 1429 个应用系统,120 个 DB 实例,310 个外部网关,3100 个 job,11 个 A/S 应用,文件服务等核心架构组件),达成机房一键切换的设计目标。


2018 年 12 月 22 日,陆金所利用一键切换平台将主机房从宝信切换至外高桥机房。2019 年 3 月 30 日,陆金所将主机房从外高桥切换至宝信机房,耗时缩短到 4 分 05 秒。一键切换平台的完成,代表陆金所具备机房级容灾 5 分钟内恢复的能力,达到业界领先水平。


演讲提纲


1、设计目标:


  • 在宝信机房正常提供服务的情况下,通过一键切换平台 10 分钟内切换宝信机房至外高桥。


2、项目挑战:


  • 全站 1400+应用系统,100 套+DB 实例,300+大网关,3000+job 调度,梳理 A/S 应用(数量庞大,架构复杂,系统多样)

  • 数据一致性保障,CMDB 自动化闭环,自动化平台重构,一键切换多任务并发执行时效,时效要求高(技术框架改造量大)

  • 生产应用标准化改造工作量大(历史遗留问题多)


3、设计方案关键点:


  • 双活机房有状态的服务需要可以在机房之间做灵活切换

  • 服务经全面梳理确认为 7 大类型

  • 7 大服务切换需要反复生产验证,确保接口健壮性

  • 机房切换需分批次,逐步加量验证

  • DB 切换涉及百套以上 DB,Oracle/MySQL/Redis 都需要完成切换目标

  • 一键切换平台需具备高可用/权限控制/切换过程输出/服务展示/切换进度/自动检查/CMDB 闭环等功能


听众受益点


  1. 陆金所的运维自动化的根本实现原则是分而治之,大而化小

  2. 每个服务目录,无论是复杂的组合操作还是简单的原子操作,都统一遵循以上 4 步流程

  3. 所有涉及的元数据都要求从 CMDB 中获取,完成变更后所有变化也需要反应到 CMDB 中从而形成闭环

  4. 变更流程的所有细节都需要在变更设计阶段却确定并提交到相关审批流程中(切换过程自动化审批)

  5. 变更的执行要求全生命周期管理,过程中的状态以及产生的所有日志都会留存并提供用户实时查询与相关干预操作


讲师介绍


刘俊


陆金所 技术运营部运维开发团队经理


2016 年 4 月入司至今,先后在规划管理团队和运维开发团队担任资深架构师、团队经理职务。负责陆金所核心 IT 技术运营系统的建设与保障工作,负责陆金所 DevOps 核心运营流程与工具链的持续优化改进以及技术运营相关业务的技术选型、方案制定与架构设计。同时也负责 IT 技术体系可用率保障的相关技术工作。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/shenzhen/schedule


2019-08-11 00:001783

评论

发布
暂无评论
发现更多内容

如何学习一个框架?

云起

troubleshoot之:使用JFR分析性能问题

程序那些事

Java 性能分析 jfr

MySQL 基准测试

多选参数

MySQL

阿里、力扣、政采云的15位专家分享前端面试与招聘视角

三钻

面试 大前端

真正的异步API网关Agate

dinstone

Async API Gateway

Elasticsearch学习

张明森

学习技术先从学会使用搜索引擎开始

我是程序员小贱

解析 hashMap 源码之基本操作 get

shengjk1

Java hashmap

如何隐藏你的数据库密码

Rayjun

安全 服务器

为什么考研,考研能给你带来什么?说说我的感受!

我是程序员小贱

Spring如何选择类构造器

申屠鹏会

翻译 Go 语言

解析 HashMap 源码之基本操作 put

shengjk1

Java hashmap

高效程序员的45个习惯:敏捷开发修炼之道(1)

石云升

读书笔记 敏捷开发

Rust特征与泛型区别点

编号94530

rust 泛型 封装、继承、多态

docker入个门

书旅

Docker 容器 Dockerfile

平均负载是什么?

我是程序员小贱

解析 HashMap 源码概括

shengjk1

Java hashmap

毕玄大佬的分享以及给我的感悟

白色蜗牛

Java 程序员 技术 职场 架构师

华为的“少年天才”攀登者,出发向智能存储的“奥林帕斯山”

脑极体

这样看mybatis,谁都会分析源码!

诸葛小猿

源码 mybatis mybatis源码

Apache Mina和Netty的历史

dinstone

1 学习性能优化的要点

我是程序员小贱

翻译: Effective Go (6)

申屠鹏会

翻译 Go 语言

MEDO 项目开发中遇到的问题汇总

陈皮

Docker搭建PHP+Nginx+MySQL+Redis

书旅

Docker 镜像 lnmp

让你起飞的20个Linux命令骚操作

我是程序员小贱

翻译: Effective Go (7)

申屠鹏会

翻译 Go 语言

1 时间复杂度总结

我是程序员小贱

敏捷到底是个什么鬼?

刘华Kenneth

程序员 敏捷 change

航运区块链 抗疫危中有机

CECBC

区块链 航运

你生日那天的宇宙什么样子知道?我全部给你吧!

我是程序员小贱

陆金所机房一键切换平台建设_ArchSummit_刘俊_InfoQ精选文章