写点什么

如何通过 IM 实现分布式任务调度系统,这里有答案

2020 年 6 月 29 日

如何通过 IM 实现分布式任务调度系统,这里有答案

在谈到如何实现 DevOps 时,往往面临两大方面的问题 :开发测试管理问题和运行管理问题。开发测试管理问题一般表现在开发效率低、版本质量差、环境交付慢,无统一工具设置,整体的研发运维过程管控不足。因此,通过 DevOps 平台进行流程化管理变得尤为重要。


另一方面,随着云计算的发展,企业机器数量逐渐增多,规模逐步扩大,机器的管理和维护成为 DevOps 不可或缺的一个环节。而且,随着业务发展和架构演进,多云和混合云成为常态。企业的基础设施,从早期单机房,开始覆盖到多个地域。在混合云、多地域等各种异构网络环境下,运行管理也是必须面对的问题,因此,势必需要一套调度系统来管理、控制各类资源。


作为运维平台的基础,任务调度系统的职责,是控制、分发任务到对应的机器或容器上。而任务调度系统往往面临着:物理机、虚拟机、容器等不同类型有差异;Linux、Windows 等操作系统兼容问题;公有云、私有云等环境存在差异,网络不在同一平面;时效性、可用性要求高;Agent 安装、升级、插件管理问题……


那么面对这些问题时,企业和开发者应该如何解决呢?7 月 2 日,来自京东智联云、博云的两位讲师将通过线上公开课的形式,为大家分享各自的实践。


本次课程由京东智联云开发者与英特尔联合举办,大家可以了解从开发到测试,如何通过 DevOps 平台进行流程化管理,以及企业在研发流程规范、团队配合、统一工具设置、代码发布环境质量管控等方面如何选择落地路径。也可以了解到京东智联云的任务调度系统是怎样设计的,如何用 IM 实现分布式控制系统。


活动信息


主题:DevOps 平台高可用架构与实践


活动时间:2020 年 7 月 2 日 19:30-21:15


议程:



议题详情


议题一:《基于 IM 的大规模任务调度架构设计与实践》



陈尧 京东智联云云产品研发部架构师


近十年自动化运维平台经验,在大规模集群管理、分布式调度、容器化、安全等方面有丰富的实战经验,17 年加入京东后,先后设计了支持容器和物理机的部署平台云翼,承载整个京东智联云的服务部署,基于 kerberos 的堡垒机,实现公有云和私有云机器运维权限管控、高性能分布式任务调度, 解决了公有云、私有云、物理机、容器等各种异构网络下任务分发和执行问题。


分享简介:


1.分布式任务调度系统面临的机器控制与管理、效率与性能问题


2.京东智联云在任务调度系统设计中遇到的“坑”


3.如何用 IM 实现分布式控制系统设计


4.公有云、私有云等多种异构网络下的 C/S 架构设计


听众收益:


1.学习分布式任务调度系统设计,用 IM“聊天”的方式解决机器管理的问题


2.通过了解京东智联云相关实践,为企业内部 DevOps 发展提供经验


议题二:《从开发到测试,如何通过 DevOps 平台进行流程化管理》



伞亚朋 博云售前解决方案架构师


近十年在创业公司及上市公司的自动化运维经验, 在电商,金融,游戏等行业有丰富实践,曾主导以开源软件为框架的 DevOps 生态体系,还曾落地实现以开源软件为主的 Kubernetes 生态体系。现担任博云售前解决方案架构师,主要负责公司超融合、Boc,DevOps,BSM 等产品售前技术支持工作。


分享简介:


1.DevOps 的范围、愿景、目标


2.DevOps 中各研发岗位之间如何协作


3.DevOps 如何实现工具链的统一管理


4.企业 DevOps 落地实施路径选择


听众收益:


1.从 DevOps 概念及流程出发,学习如何从零突破,优化内部研发人员协作


2.了解企业应该如何选择合适的 DevOps 落地路径


免费报名通道开启中


扫描下方二维码即刻报名,添加小助手微信:Sherry25101,获取直播链接。活动中更有多轮互动抽奖,参与现场互动,大礼包等你来拿~



2020 年 6 月 29 日 20:561904

评论

发布
暂无评论
  • 一篇文章带你了解运维重器 Tencent Hub

    5月23-24日,以“焕启”为主题的腾讯“云+未来”峰会在广州召开,广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展。

  • Linux- 常用命令

    Linux常用命令,centos7

    2020 年 5 月 8 日

  • 多框架微服务治理解决方案及实践 | 视频

    本次演讲主要针对异构微服务框架的统一服务治理问题,讲述在多微服务框架统一服务治理方面的探索和实践。

  • 高可用架构案例(一):如何实现 O2O 平台日订单 500 万?

    今天,我会通过一个实际的O2O点餐平台架构改造案例,告诉你具体如何落地一个高可用的架构。

    2020 年 3 月 20 日

  • 高难度对话读书笔记——聆听篇 2

    更多地倾听发自内心的声音,不要掩盖它,让它大声地说出来。管理内心的声音,当你发现自己的好奇心开始打瞌睡时,你可以把它唤醒。除了让好奇心永葆青春,一名优秀的听众通常还会掌握三种基本技巧:提问、阐释、认同,不要用提问的方式来掩饰自己的观点,如果

    2020 年 10 月 13 日

  • 唯品会自研微服务框架 OSP,解决拆分、扩容难题

    随着电商业务的快速发展,唯品会逐渐实施了微服务架构,如何建设微服务框架体系,如何快速大规模扩容,如何更好的拆分微服务...

  • 携程的容器化交付实践

    本次分享介绍携程的容器化交付实践。

  • 安畅迁移平台的云原生之路

    平台从工具->单模块单体->多模块单体->微服务架构,基础设施由物理服务器单节点->物理服务器高可用集群->混合云资源->K8s集群,每一步的演进,都带来了很大的挑战,如:K8s环境高可用,监控告警,CI/CD,制品镜像管理,代码扫描,灰度发布,监控日志等。

    2020 年 6 月 29 日

  • 云原生应用中的网络流量管理

    在ArchSummit 北京 2019 大会上,何归丽讲师做了《云原生应用中的网络流量管理》主题演讲。

  • 从小工到专家:聊聊测试执行环境的架构设计(下)

    在今天这篇文章中,我从测试基础架构演进的视角,和你分享了测试基础架构发展的前世今生。

    2018 年 10 月 1 日

  • 第四周感想

    第四周

    2020 年 7 月 1 日

  • ARTS - Week 3

    ARTS - Week 3

    2020 年 6 月 15 日

  • Eureka 进阶:健康检查和蓝绿部署

    2018 年 10 月 12 日

  • 电商搜索系统质量保障体系建设

    演讲嘉宾李友科,京东 商城搜索与推荐平台部架构师内容介绍背景:电商搜索的主要对象是商品,目标是用户精确找到商品,卖家有机会曝光商品,商城构建良好的生态。围绕这个三个核心业务指标,系统稳定、结果精确、研发效率、排序效果,既是电商搜索系统研发的目标,也是挑战。几个具体的例子,从规模上,有30多个搜索系统,服务3亿+活跃用户;数据量上,商品量数十亿;人员上,开发和测试比 12:1,北京、深圳和硅谷多地协调。实施后效果:质量保障体系建设起来后,200+研发团队协同开发,平均每周上线40多个功能,平均迭代速度5-6天;其中算法ab,每天多次上线。快速把业务需求转化成收益,同时保证系统的稳定、业务的 KPI 和用户体验。解决方案选型:质量保障体系有几个特点:服务化、自动化、智能化。服务化,解决是 测试/开发占比低、异地协同的问题。自动化,主要是提高研发、测试和部署速度。智能化,主要是对搜索结果精确、排序效果的评估,发现业务 KPI 异常、badcase。方案介绍: 服务化(platform as a service),提供自助部署 All-in-one min 集群的服务、code review 服务、性能压测服务、diff 评估服务、搜索效果评估服务、个性化评估服务。 自动化:完整的持续集成流水线,包括:precomit、component、deploy、test;为了提高部署效率,对AB集群搭建持续部署流水线。智能化:是把人工标注的、用户投诉和反馈的体验问题,转化为人工智能识别的特征与标注类别,最终通过监督学习的方法进行模型训练,把训练好的模型用来检测搜索效果问题,最终人工对人工智能预测出的效果问题进行二次评价和处理,并反馈给模型持续训练。 另外,强调2点:一个是流程规范,一个是可运维和可运营。流程规范就是把研发有序组织起来研发和交付,是形成意识培养文化,服务化、自动化和智能化是帮助流程规范落地;整个质量保障体系,能否落地关键是可运维和可运营。内容大纲 质量保障体系 电商搜索业务场景和问题挑战 电商搜索质量保障体系实践 3.1 服务化 3.2 自动化 3.3 智能化 电商搜索质量保障体系难点 规范流程制定和落地、可运营和可运维

    2019 年 1 月 2 日

  • 成功实施 DevOps 的七个有力工具

    现如今,每个软件企业都在谈论DevOps,他们希望从DevOps中获得好处。DevOps本身不是开发工具,而是开发文化的一次革新,为了能够成功地实施DevOps,需要借助一些工具。Pavan Belagatti列出了7个强有力的工具可以帮助企业成功地实施DevOps。

  • 不再掉队,研发流程、工程方法趋势解读和展望

    今天,我从协作方式、云计算平台、应用开发和AI这4个方面,与你分析了如何在软件开发工作中运用这些趋势,去提高研发效能。

    2019 年 10 月 4 日

  • 企业如何预防短信验证码被别人盗用

    我们在手机上收不到手机验证码短信时,可能是因为验证码短信被盗用了,那么短信验证码是如何被盗用的、它有哪些危害、应当如何预防用户验证码短信被盗用。今天小编就为你说明短信验证码被盗用的问题。#短信防火墙#

    2021 年 1 月 14 日

  • 基于 Service Mesh 的海量容器管理平台实践

    演讲嘉宾 刘超,网易云解决方案总架构师。 内容介绍 网易云对内对外支撑的重点在于基于Kubernetes的容器平台,已经在线生产管理运行超过1000天,集群规模最大达30000台,支撑了很多内部重点项目,减轻了业务方瞬时流量增加所带来的运维成本,比较早期的业务平台的微服务化采取的是Dubbo,后来新的业务使用SpringCloud,云平台组基于Kubernetes推出了Service Mesh服务治理平台,将微服务部分工作下沉到平台层完成,并在计费中心,云管平台,互金项目中进行落地,本次分享在大规模Kubernetes容器平台中落地Service Mesh的实践。

    2018 年 9 月 12 日

发现更多内容

氪信团队再夺冠!易观数科第四届OLAP算法大赛前三甲诞生!

易观大数据

数据库 算法 OLAP

[译文]设计模式01 – 抽象工厂模式(附代码实例)

YoungZY

设计模式 译文

我就是增发、健身、养猫、社交通通拥有的锦鲤本鲤

脑极体

高交会第一天,高新技术成焦点

13530558032

第六周总结

balsamspear

极客大学架构师训练营

极客大学 - 架构师训练营 第八周

9527

基于Fabric的性能测试与调优实践

华为云开发者社区

区块链 算法 测试 fabric 华为云

曾陷“数据风暴”危机的赛默飞世尔如何化险为夷的?

华为云开发者社区

数据库 大数据 云服务 华为云 RDS

LAXCUS 大数据集群操作系统:一个分布式分时共享 E 级系统软件(六)

陈泽云

人工智能 大数据 算法

Pulsar Summit Asia 2020 | 场景案例论坛(上):多行业,多场景

Apache Pulsar

大数据 开源 Apache Pulsar

面试,到底在考察什么?

程序员架构进阶

面试 方法论

再拔头筹,FusionInsight为华为云大数据打造硬实力

华为云开发者社区

大数据 数据仓库 数据湖 FusionInsight 华为云

深入浅出node中间件原理

徐小夕

Java node.js 前端 中间件 数据可视化

mPaaS 客户端问题排查之漫长的 3s 等待之谜

阿里云金融线TAM SRE专家服务团队

mPaaS

LAXCUS 大数据集群操作系统:一个分布式分时共享 E 级系统软件(七)

陈泽云

人工智能 大数据 算法

Serverless 是一种思想状态

donghui

Serverless

链表交集问题与DataNode宕机HDFS处理时序

garlic

极客大学架构师训练营

面经手册 · 第17篇《码农会锁,ReentrantLock之AQS原理分析和实践使用》

小傅哥

Java AQS CAS unsafe CLH

JVM真香系列:堆内存详解

田维常

Java JVM 堆栈 虚拟机

架构师Week4总结

lggl

作业

秋风到,ModelArts“ AI市场算法Fast-SCNN指南”秋膘贴起来

华为云开发者社区

AI 算法 开发 OBS modelarts

架构师Week4作业

lggl

作业

三部门联合发言不得虚报直播销售额业绩:双十一何以刺激了用户的购买欲

石头IT视角

三千字轻松入门TensorFlow 2

计算机与AI

tensorflow 学习

甲方日常 49

句子

工作 随笔杂谈 日常

Oracle、NoSQL和NewSQL 数据库技术对比

VoltDB

数据库 大数据 数据分析 物联网

护航11.11,如何筑牢安全防御系统?

京东科技开发者

云计算 云安全 DDoS

2020双11:看阿里背后的黑科技!

阿里云情报局

人工智能 云计算 大数据 运维 黑科技

利用下班时间,我两星期完成了redis入门与进阶

小松漫步

数据库 redis

第六周课后练习

balsamspear

极客大学架构师训练营

[Pulsar 社区周报] 2020-10-31 ~ 2020-11-06

Apache Pulsar

大数据 开源

如何通过 IM 实现分布式任务调度系统,这里有答案-InfoQ