10 月 23 - 25 日,QCon 上海站即将召开,现在大会已开始正式报名,可以享受 8 折优惠 了解详情
写点什么

微博深度学习平台基于 Kubernetes 的分布式解决方案

  • 2019-09-10
  • 本文字数:548 字

    阅读完需:约 2 分钟

微博深度学习平台基于Kubernetes的分布式解决方案

ArchSummit北京2018大会上,于翔讲师做了《微博深度学习平台基于 Kubernetes 的分布式解决方案》主题演讲,主要内容如下。


演讲简介


随着深度学习在微博业务场景中的广泛使用,深度学习平台遇到一些挑战:离线训练方面,各业务方需求丰富多样,任务管理纷繁复杂,大数据与大模型带来训练时长的压力;在线推理方面,基于模型服务的特殊性,如何在满足微博大流量高性能的在线业务需求同时,保证服务的高可用与稳定性。


本次分享从以上两个维度切入,基于 K8s 构建分布式离线与在线方案,解决上述遇到的挑战。


演讲提纲


  1. 介绍背景,微博业务与深度学习平台;

  2. 介绍离线训练遇到的挑战,方案选型(Yarn & K8s),方案介绍(基于 tfjob)以及相关效果;

  3. 介绍在线推理遇到的挑战,方案选型(自定义服务发现)解决方案(K8s deployment 等基础资源对象)。


听众受益点


  • 对深度学习感兴趣的听众,可以了解到深度学习算法在业务应用的基本流程;

  • 深度学习平台的基础架构;

  • 大规模深度学习会遇到的瓶颈与 K8s 解决方案;

  • 在线模型服务的服务特性与一些优化点。


讲师介绍


于翔


新浪微博 机器学习研发架构师


现就职于新浪微博,在机器学习平台中曾负责特征工程项目,目前主要负责算法服务平台与深度学习平台的搭建与开发。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-10 14:022601

评论

发布
暂无评论
发现更多内容

使用Flexus X实例创建FDS+Nginx服务实现图片上传功能

YG科技

公司需要帮客户搭建一个人才招聘系统,但是纠结在选择哪个平台的服务器比较好,几经周折对比,最终选择华为云Flexus X

YG科技

华为云Flexus云服务器X实例下的Redis性能基准测试

YG科技

自学记录HarmonyOS Next的HMS AI API 13:语音合成与语音识别

李游Leo

鸿蒙 HarmonyOS HarmonyOS NEXT

华为云Flexus云服务器X实例之openEuler系统下部署Discuz论坛网站

YG科技

Flexus云服务器X实例实践:部署思源笔记工具

YG科技

华为云Flexus云服务器X实例Windows系统部署一键短视频生成AI工具moneyprinter

YG科技

华为云Flexus云服务器X实例的使用教程

YG科技

想入局具身智能、人形机器人领域,你必须了解的行业干货!

机器人头条

大模型 人形机器人 具身智能

2024年做过的那些SAP项目

SAP虾客

SAP项目 2024年

自学记录鸿蒙API 13:实现智能文本识别Core Vision Text Recognition

李游Leo

鸿蒙 HarmonyOS HarmonyOS NEXT

《计算机组成及汇编语言原理》阅读笔记:p123-p127

codists

在人群里,看见「鲲鹏开发者」

脑极体

AI

现货量化合约跟单系统开发策略指南

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

华为云X实例部署Docker应用的性能评测优化与实践指南

YG科技

使用Linux管理面板1Panel管理华为云Flexus云服务器X实例

YG科技

Flexus云服务器X实例:在Docker环境下搭建java开发环境

YG科技

BSI为新氧集团颁发ISO/IEC 27001信息安全管理体系认证证书

财见

华为云Flexus 云服务器 X 实例:在openEuler系统下搭建MySQL主从复制

YG科技

CrossOver玩游戏支持手柄吗 CrossOver里的Steam怎么连接手柄

阿拉灯神丁

CrossOver Mac下载 Mac电脑软件 苹果电脑游戏推荐 CrossOver 24

一起鸿蒙吧,现在到了「绝佳时刻」

最新动态

华为云Flexus X实例:极速搭建个人代码仓库GitLab平台

YG科技

部署去中心化网络的AI照片管理应用PhotoPrism

YG科技

DeFi 进入创新新时代:稳定币的崛起与美国国会对加密的支持

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

自学记录鸿蒙 API 13:实现人脸检测 Core Vision Face Detector

李游Leo

鸿蒙 HarmonyOS HarmonyOS NEXT

华为 Flexus 云服务器搭建 SamWaf 开源轻量级网站防火墙

YG科技

华为云Flexus云服务器X实例——部署EduSoho网校系统、二次开发对接华为云视频点播实现CDN加速播放

YG科技

微博深度学习平台基于Kubernetes的分布式解决方案_ArchSummit_于翔_InfoQ精选文章