写点什么

一文了解蚂蚁金服今年 KubeCon 全部重磅分享

  • 2019-08-26
  • 本文字数:2882 字

    阅读完需:约 9 分钟

一文了解蚂蚁金服今年KubeCon全部重磅分享

6 月 24 日,国内云原生领域最重要的会议即将来袭!KubeCon + CloudNativeCon + Open Source Summit China 2019 将在上海召开,蚂蚁金服此次也会重度参与,由多名技术专家进行分享并组织 workshop,为参会者献上技术的饕餮盛宴。

本次大会上,蚂蚁金服将会重点分享 Kubernetes 集群的管理、深度学习任务在 Kubernetes 上的大规模部署和调优、互联网金融、安全容器等前沿课题。从 2016 年起,蚂蚁金服开始深度使用 Kubernetes,并作为最终用户案例被 CNCF 官方推荐:



目前,蚂蚁金服不仅在围绕 CNCF 的云原生开源技术方面做出贡献,也开源了自己的金融级云原生分布式解决方案 SOFAStack,本次大会上蚂蚁金服将以 Workshop 的形式展示使用 SOFAStack 来快速实现 Service Mesh 和 Serverless,欢迎关注。


具体分享内容如下:

议题一览

通过托管 CPU 和 GPU 工作负载,实现资源的高效利用

  • 蚂蚁金服平台数据技术系统部技术专家 岑鹏浩

  • 阿里云容器平台高级技术专家 何剑


议题简介


本次演讲主要介绍如何将 AI training 任务和长服务在 Kubernetes 集群之上混部。主要目的是通过混部各种 workload 提高资源利用率,从而节省资源。我们会从各个不同的维度包括 Qos class, cgroup, scheduling 等等来描述我们如何实现混部,以及如何评估利用率。过去几个月中,我们构建了一个几百节点的 GPU 和 CPU 混部集群,我们会介绍在生产集群中混合部署长服务和 AI 批处理任务的最佳实践。

不再混乱:大规模 Kubernetes 审计和检查

  • 阿里云容器平台技术专家 陈杰

  • 蚂蚁金服高级开发工程师 马金晶


议题简介


众所周知,准确的异常发现和快速的问题分析是保证 Kubernetes 集群可用性和稳定性的关键所在。但在整个 Kubernetes 项目中,有着不计其数的监控指标数据。仅以我们的 Kubernetes 集群为例,我们观察到像这样的监控数据每秒钟就会产生几千条。如何合理地利用这些复杂而大量的数据和指标,对它们有效的进行记录和分析,变成简单易懂的可视化展示,变成准确的告警信息,是一个非常有挑战性的工作。


在这个演讲中,我们希望与大家分享在 Alibaba 在 Kubernetes 集群监控、审计和巡检方面的实践和经验。首先,我们会聊一聊 Kubernetes 与稳定性相关的重要数据和指标,以及如何去理解它们。我们会以案例的形式,具体讲一讲我们如何对这些数据和指标进行整合与解析。最后,我们会分享阿里巴巴高效、实时的对这些数据进行自动化巡检与分析的最佳实践。

有效可靠地管理大规模 Kubernetes 集群

  • 蚂蚁金服高级开发工程师 张勇

  • 蚂蚁金服技术专家 林志贤


议题简介


随着业务的增长,我们需要将 Kubernetets 部署到世界各地的多个数据中心。单个数据中心中就拥有超过数万个节点。我们面临的关键挑战是如何高效、可靠地在数据中心内管理多个大规模 Kubernetes 集群。


在本次演讲中,我们将分享实现大规模集群管理自动化的经验和实践。首先,我们将介绍全自动化节点生命周期管理,以及如何基于 NPD、Autoscaler 和自定义运算符自动发现和恢复节点故障。然后,我们将分享部署和升级 Kubernetes 集群的经验和解决方案。最后,我们将分享基于 Prometheus 和运算符的风险防控系统,该系统可确保集群可靠性,具有自动故障检测和隔离的能力。

为互联网金融关键任务场景拓展部署

  • 蚂蚁金服高级开发工程师 周梦伊

  • 蚂蚁金服技术专家 吴珂


议题简介


默认部署方法为执行常规版本升级提供了一种良好的解决方案。但是,将高可用性和可靠性的大规模服务部署为互联网金融应用尚且另当别论,更不用说这种工作负载在现有操作系统和维护系统下所面临的兼容性问题了。


蚂蚁金服引入的新工作负载可让这些问题迎刃而解。它能够通过可靠而灵活的分发、风险控制的部署策略以及高性能的就地更新扩展部署能力。它尤其消除了金融服务行业所面临的技术障碍,使开发商和运营商能够专心发展核心业务。

Kubernetes 集群的大规模分布式深度学习

  • 蚂蚁金服技术专家 唐源

  • Director of Engineering, MobileIron Yong Tang


议题简介


本次演讲的重点是在 Kubernetes 上部署大规模分布式深度学习。此外,还将介绍如何通过使用运算符来管理和并实现机器学习训练过程自动化。我们将分享我们的经验,并比较两个开源 Kubernetes 运算符:tf-operator 和 mpi-operator。这两个运算符都为 TensorFlow 管理训练任务,但有着不同的分配策略,这就造成了 CPU、GPU 和网络利用率方面的不同性能结果。


深度学习任务既是网络密集型又是 GPU 密集型,因此对编排进行适当优化非常重要。易发的不平衡会导致闲置计算容量,这对于 GPU 节点来说成本太高昂了(与 CPU 相比)。我们将分享我们的经验,希望可提供有用的洞察,帮助从机器学习任务中获得更好的经济效益。

推介会:SIG Cluster 生命周期

  • 蚂蚁金服高级研发工程师 徐迪

  • Cloud Software Architect, Intel Alexander Kanevskiy


议题简介


Sig-Cluster-Lifecycle Intro 群集生命周期 SIG 是一个专注于群集部署和升级的特别兴趣小组。我们的 SIG 正在努力改善用户体验,以引导符合最佳实践的最小可行 Kubernetes 集群。使用我们的主要安装工具 kubeadm,可以很好地管理简化的安装和升级过程。我们最近推出了一个名为 Cluster API 的新 Kubernetes 对象,它将声明式 Kubernetes 风格的 API 引入群集创建,配置和管理。在本次介绍会上,我们将介绍 SIG 的使命陈述,审核最新更新,并讨论我们的路线图。还介绍了一些新的生命周期项目。非常欢迎您加入我们的 SIG 并为其做出贡献。

安全沙箱是否已生产就绪?Kata 容器、gVisor 等

  • 蚂蚁金服资深技术专家 王旭

  • 蚂蚁金服技术专家 李福攀


议题简介


在 KubeCon NA 2018 上,我们对 Kata 容器和 gVisor 进行了定量比较,当时我们展示了对 Kata 而言合理的 CPU/网络性能、文件系统存储的性能损失、Kata 的内存消耗以及 gVisor 的系统调用开销等。


活动结束后,Kata 容器发布了版本 1.5,支持轻量级管理程序(Nemu 和 FireCracker)。当时我们还介绍了用于文件系统共享的 virtio-fs,它可以提供更好的 POSIX 兼容性和性能。Virtio-fs 能够与 shimv2 进行无缝的容器化集成,看似能够在 2019 年为 Kubernetes 提供更出色的生产就绪型安全沙箱支持。


在本次演讲中,我们将展示使用更新的测试套件对新推出的技术进行的基准测试,并帮助用户了解它们是否已生产就绪。

SOFAStack Cloud Native Workshop

Service Mesh 将服务间通信能力下沉到基础设施,让应用解耦并轻量化。但 Service Mesh 本身的复杂度依然存在,如何轻松的实践 Service Mesh 技术?在活动现场,我们将带你感受 CloudMesh 通过将 Service Mesh 托管在云上,助力轻松实践 Service Mesh 技术。


作为云原生技术前进方向之一,Serverless 架构让您进一步提高资源利用率,更专注于业务研发。本次您可以体验到快速创建 Serveless 应用、根据业务请求秒级 0-1-N 自动伸缩、通过日志查看器快速排错、按时间触发应用等产品新功能。


微服务架构下,分布式事务问题是一个业界难题。这次,您可以亲身体验如何使用开源分布式事务框架 Seata 的 AT 模式、TCC 模式解决业务数据的最终一致性问题。


本文转载自公众号蚂蚁金服科技(ID:Ant-Techfin)。


原文链接:


https://mp.weixin.qq.com/s/fm6A4RnVZv6Ts44Z4A5nig


2019-08-26 09:521240
用户头像

发布了 150 篇内容, 共 29.6 次阅读, 收获喜欢 32 次。

关注

评论

发布
暂无评论
发现更多内容

机器学习应用设计阶段的 10 个陷阱和 11 个最佳实践

浪潮云

机器学习

Vue3 中 v-if 和 v-show 指令实现的原理 | 源码解读

五柳

源码分析 大前端 Vue3

壁纸收藏

小马哥

摄影 七日更

记录关于写作的两个小想法

JiangX

28天写作

我们都很忙

Ian哥

28天写作

公司开始为远程办公做准备了

IT蜗壳-Tango

七日更

Java基础--2021Java面试题系列教程--大白话解读

JavaPub

Java 面试 javapub

浪漫主义的消亡

石君

28天写作

机器学习·笔记之:Cost Function - Intuition I

Nydia

GNUCash 5: 报表

lidaobing

GNUCash 28天写作

“复制”马斯克(一):全世界都会为“自大狂”让路吗?

脑极体

关于垃圾收集器你了解多少?一文总结七大垃圾收集器

Java鱼仔

Java JVM 垃圾收集

HDFS是如何设计架构的?

大数据老哥

产品训练营-第五课

Geek_娴子

原来酸奶是这个味道,真香!「幻想短篇 20/28」

道伟

28天写作

如何养成一个好习惯

熊斌

读书笔记 28天写作

开发质量提升系列:用户体验

罗小龙

最佳实践 方法论 28天写作

个人隐私之老话重谈

张老蔫

28天写作

28天瞎写的第二百三十天:DIY 键盘的故事

树上

28天写作 机械键盘 GH60

进大厂必看!拼多多大佬总结的10万字Springboot经典学习笔记

武哥聊编程

Java springboot 28天写作

淘宝网前期技术架构演进分析

andy

年底跳槽之 如何找工作方向?

一笑

职业规划 28天写作

Soul 源码阅读 05|Http 长轮询同步数据分析

哼干嘛

架构师训练营知识点思维导图

晴空万里

架构师训练营第2期

WebPack | Loader处理非JavaScript模块机制详解

梁龙先森

JavaScript 大前端 webpack 28天写作

技术根儿扎得深,不怕“首都”狂风吹!

Arvin

操作系统

工程师思维是什么?能吃吗?

Justin

工程师思维 架构设计 28天写作

面对key数量多和区间查询低效问题:Hash索引趴窝,LSM树申请出场

华为云开发者联盟

数据库 数据 存储 Hash索引 LSM树

创业失败启示录|雨季后的明媚阳光

阿萌

28天写作 创业失败启示录

一文了解蚂蚁金服今年KubeCon全部重磅分享_文化 & 方法_Geek_cb7643_InfoQ精选文章