京东如何基于容器打造高性能及效率的大数据平台

2019 年 8 月 17 日

京东如何基于容器打造高性能及效率的大数据平台

QCon 北京 2018 大会上,范振、陈韦廷讲师做了《京东如何基于容器打造高性能及效率的大数据平台》主题演讲,主要内容如下。

演讲简介

容器化后已经成为云端平台的技术趋势,但其性能表现常常是人们却步或怀疑的。这个主题,我们将介绍京东如何透过 Docker 及 Kubernetes 为基底,打造完整且高性能高效率的大数据平台服务。我们将从多个不同的面向让听众深入了解大数据的应用在容器化后对性能和整体服务所带来的影响:从基础的硬件测试包括 fio,iperf 等等,到真实的应用场景测试如 Spark Streaming or Machine Learning 的工作,再到容器化后资源的利用率和效率所带来的影响。

听众受益

  1. 如何基于容器打造高性能高效率的大数据平台;
  2. 透过 fio,iperf…等等简单的测试工具得到平台的基础性能报告及比较;
  3. 真实大数据工作量(包括 Streaming 和机器学习)的比较结果;
  4. 高性能基础设施的打造经验分享。

讲师介绍

范振

京东 软件开发工程师

范振是服务于京东 AI 与大数据部的软件开发工程师。2014 年加入京东,从事基础平台架构、开发工作;反比价项目、机器学习平台项目的负责人;在高性能服务器、大数据领域有着丰富的经验和视野。

陈韦廷

Intel 资深软件工程师

陈韦廷是一名英特尔资深软件工程师。他致力于大数据及云计算相关领域的解决方案达 6 年以上的时间。他的主要工作为大数据在云计算解决方案的研发,效能调优及客户的支持。目前主要专注于大数据在 Docker 及 Container 技术的研究与发展。

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2018/beijing/schedule

2019 年 8 月 17 日 00:00 4660

评论

发布
暂无评论
发现更多内容

Spring Cloud 微服务实践(7) - 日志

xiaoboey

kafka 微服务 Spring Cloud 日志 spring cloud stream

从联想ThinkStation工作站,窥见工具文明的新纪元

脑极体

做好分库分表其实很难之二

架构师修行之路

微服务 分库分表

“海外同步优惠”与“中国专享折扣”十大必败榜抢先放送

爱极客侠

产品分析

时间是一个人最好的证明

产品经理 产品设计

记一次MySQL日期范围查询优化

墨凡

MySQL SQL优化

架构师训练营第 1 期 - 第四周学习总结

Anyou Liu

架构师训练营第 1 期

区块链教育 丨 首批区块链专业新生正式入学

CECBC区块链专委会

区块链技术 区块链教育

架构师训练营第三周作业

Wee权

对不起,学会这些 Linux 知识后,我有点飘

cxuan

Linux 后端 操作系统 计算机

java安全编码指南之:lock和同步的正确使用

程序那些事

java安全编码 java安全 java安全编码指南 java编码

JDK 中的栈竟然是这样实现的?

王磊

Java 数据结构和算法

典型的大型互联网应用系统的技术方案和手段

LeetCode题解:104. 二叉树的最大深度,递归,JavaScript,详细注释

Lee Chen

LeetCode 前端进阶训练营

架构师训练营第四章 系统架构总结

郎哲158

架构师作业第三周学习总结

Wee权

震精,京东T8工程师每天熬夜到天明,竟只是为一套编程实战文档

周老师

Java 编程 程序员 架构 面试

用NOSql给高并发系统加速

架构师修行之路

nosql redis 分布式 微服务

手把手教你AspNetCore WebApi:Serilog(日志)

AI代笔

ASP.NET Core web api serilog

架构1期第四周作业1-大型互联网系统技术梳理

道长

架构师训练营第 1 期

古北水镇的夜

张晓楠

生活 摄影

内存条的讲解

亚兰——硅的传奇

原创 内存 硬件 计算机 哔哩哔哩

讲一讲我所认为的「人生三最」,你或许能够参悟到什么

非著名程序员

程序员 个人成长 时间管理 精力管理

建筑行业区块链应用场景是怎样的

CECBC区块链专委会

区块链 建筑行业

架构师训练营第1期第四周作业二

道长

架构师训练营第 1 期

关于国际化语言 Intl

西贝

JavaScript 前端 国际化 格式化

LeetCode题解:111. 二叉树的最小深度,递归,JavaScript,详细注释

Lee Chen

前端进阶训练营

MySQL事务隔离级别

长沙造纸农

MySQL 事务隔离级别 mysql事务 事务 MySQL 运维

区块链是一个不知道要解决什么问题的解决方案吗?

CECBC区块链专委会

比特币 区块链 银行

31道Java核心面试题,一次性打包送给你

小Q

Java 学习 程序员 架构 面试

Apache Doris在云真信智能决策分析平台的应用实践

DorisDB

数据库 数据仓库 金融科技

京东如何基于容器打造高性能及效率的大数据平台-InfoQ