写点什么

不要再让数据科学家管理 Kubernetes 集群了

  • 2020-02-21
  • 本文字数:2143 字

    阅读完需:约 7 分钟

不要再让数据科学家管理Kubernetes集群了

本文内容基于我对机器学习团队的观察,而不是对该行业的学术调查。我是Cortex的贡献者,这是一个用于在生产环境中部署模型的开源平台。生产级机器学习有一个组织性的问题,这是因为它相对还比较新。虽然更成熟的领域(例如 Web 开发)经过几十年的发展已经有了最佳实践,但是生产级机器学习还没有。如果我们希望未来以 ML 为基础的软件真正普及开来,那么消除基础设施瓶颈就至关重要——要做到这一点,我们需要将其真正的专门化,让数据科学家专注于数据科学。


本文最初发布于 Towards Data Science 博客,经原作者授权由 InfoQ 中文站翻译并分享。


声明:以下内容基于我对机器学习团队的观察,而不是对该行业的学术调查。我的背景:我是Cortex的贡献者,这是一个用于在生产环境中部署模型的开源平台。


生产级机器学习有一个组织性的问题,这是因为它相对还比较新。虽然更成熟的领域(例如 Web 开发)经过几十年的发展已经有了最佳实践,但是生产级机器学习还没有。


举个例子,假设你的任务是为你所在的初创公司组建一个产品工程组织,而这家公司是一个开发 Web 应用程序的公司。即使你没有组建团队的经验,你也可以找到成千上万的文章和书籍,它们会告诉你这个工程组织应该采用什么结构以及如何发展。


现在想象一下,你在一家刚刚开始涉足机器学习的公司。你已经聘请了一名数据科学家来领导最初的工作,结果也不错。随着机器学习在产品中的应用越来越深入,随着数据科学家的职责迅速增加,机器学习团队显然需要发展壮大。


在这种情况下,并没有那么多关于如何构建一个生产级机器学习团队的文章和书籍。


这不是一个不常见的场景,经常出现的情况是,机器学习组织的新职责—特别是基础设施—被分配给了数据科学家。


这是个错误。

机器学习和机器学习基础设施的区别

在这一点上,平台和产品工程师的区别已经很好理解了。类似地,数据分析师和数据工程师显然是不同的角色。


许多公司的机器学习仍然缺乏这种专业化。


了解机器学习和机器学习基础设施之间的区别很重要,这有助于了解它们所需的工作和工具。


为了设计和训练新模型,数据科学家需要:


  • 把时间花在 Notebook、分析数据、做实验上。

  • 考虑类似数据保健和为数据集选择正确的模型架构这样的问题。

  • 使用 Python、R、Swift 或 Julia 等编程语言。

  • 对像 PyTorch 或 TensorFlow 这样的机器学习框架有自己的见解。


换句话说,他们的职责、技能和工具将围绕着操纵数据开发模型,他们的最终输出将是可以提供最准确预测的模型。


基础设施方面则完全不同。


将模型投入生产应用的一种常见方法是将其作为微服务部署到云中。要将模型部署为生产用 API,工程师需要:


  • 在配置文件、终端和云提供商的控制台之间分配他们的时间,设法优化稳定性、延迟和成本。

  • 考虑实例的自动扩展、在 API 不崩溃的情况下更新模型以及在 GPU 上提供推断服务等问题。

  • 使用 Docker、Kubernetes、Istio、Flask 等工具,以及他们的云提供商提供的任何服务/API。


关于机器学习和机器学习基础设施方面的工作,下面是一个简单的可视化:



机器学习 vs 机器学习基础设施


直观地说,数据科学家应该处理左边的圆,而不是右边的圆,这是有道理的。


让非专业人员管理基础设施有什么问题吗?


我们不妨做个假设。假设你必须指派某人来管理你的机器学习基础设施,但是你又不想让某人全职参与其中。你只有两个选择:


  • 一个是数据科学家,因为他们熟悉机器学习。

  • 一个是 DevOps 工程师,因为他们熟悉一般的基础设施。


这两种选择都有问题。


首先,数据科学家应该尽可能多的把时间花在他们最擅长的数据科学上。当然,这并不是说学习基础设施超出了他们的工作范围,只是基础设施和数据科学都是全职工作,将数据科学家的时间分配到这两项工作中会降低产出的质量。


其次,你的组织需要专门负责机器学习基础设施的人员。在生产环境中提供模型服务不同于托管 Web 应用程序。你需要一个专门的人来担任此角色,他可以在组织中倡导机器学习基础设施。


这种倡导是至关重要的。我了解了很多机器学习组织,你会惊讶地发现,他们的瓶颈往往不是来自技术性挑战,而是来自组织性挑战。


例如,我曾见过需要使用 GPU 进行推理的机器学习团队——像GPT-2这样的大型模型基本上都要求合理的延迟时间——但他们却无法获得 GPU,因为他们的基础设施是由更广泛的 DevOps 团队管理的,而这些团队不想让自己承担成本。


有专人致力于你的机器学习基础设施,意味着你不仅有一个不断改进基础设施的团队成员,还意味着你有一个能够满足你的团队需求的倡导者。

那么谁应该管理基础设施?

机器学习基础设施工程师。


现在,不要对这种官方的头衔有异议,要知道,机器学习还处于初级阶段,在头衔问题上,它还属于“狂野的西部”。不同的公司可能会有不同的叫法:


  • 机器学习基础设施工程师

  • 数据科学平台工程师

  • ML 生产工程师


我们已经可以看到成熟的机器学习组织招聘这个职位,包括 Spotify:



还有 Netflix:



随着诸如 Gmail 的 Smart Compose、Uber 的 ETA 预测和 Netflix 的内容推荐等基于 ML 的功能在软件中的应用越来越普遍,机器学习基础设施变得越来越重要。


如果我们希望未来以 ML 为基础的软件真正普及开来,那么消除基础设施瓶颈就至关重要——要做到这一点,我们需要将其真正的专门化,让数据科学家专注于数据科学。


英文原文:Stop making data scientists manage Kubernetes clusters


2020-02-21 08:001478

评论

发布
暂无评论
发现更多内容

尤达DDD领域驱动设计思想 第一章作业(理解单纯的面向对象设计思想的缺陷)

代廉洁

尤达DDD领域驱动设计思想

吉利控股集团与百度深化战略合作

百度大脑

【Python训练营】Python每日一练----第31天: k倍区间

是Dream呀

3月月更

使用关键点检测打造小工具Padoodle,让涂鸦小人跟随真人学跳舞

百度大脑

百度连续四年亮相全球量子信息处理顶会QIP 宣布量子战略规划升级

百度大脑

图灵奖得主Yann LeCun走进百度,与世界研究工作者展开交流

百度大脑

纯CSS 神奇的边框特效

德育处主任

css3 纯CSS 前端可视化 css动画

架构训练营毕业总结

Geek_e6f7f6

架构实战营

模块化编程及LCD1602调试工具

謓泽

3月月更

优秀的测试开发应该具备的六大能力

老张

软件测试 测试开发

建设领先的AI原生云,百度智能云落地新一代高性能AI计算集群

百度大脑

我给公司用了这款工具,领导直接给我涨了两千工资

刘祥

后端技术 编程工具

威胁驱动的网络安全方法论

喀拉峻

网络安全

对称加密与非对称加密总结

暖蓝笔记

3月月更

经验分享 | 搭建帮助中心的最强攻略

小炮

免费机器资源、硬核导师、丰厚奖励|飞桨黑客马拉松第二期开始啦!

百度大脑

[算法练习]2 二进制中1的个数

暖蓝笔记

3月月更

AI语音识别-我给浏览器加了个语音搜索功能

DS小龙哥

语音识别 3月月更

实用机器学习笔记二十六:NAS

打工人!

学习笔记 NAS 机器学习算法 3月月更 神经网络架构搜索

有温度的人工智能,零门槛助力企业“鲤跃”智能化“龙门”

百度大脑

报名啦!中小企业如何借力AI逆势突围?飞桨中国行定档3月23日!

百度大脑

Eclipse 不为人所知的另一面 - 企业管理软件领域 ABAP 编程语言开发利器

汪子熙

eclipse ide 开发者 abap 3月月更

vim 常用操作键tips

刁架构

xcode vim 快捷键

聊聊编程中的 “魔数”

程序员鱼皮

Flutter 图文并茂列表完整实现

岛上码农

flutter ios 安卓 移动端 3月月更

尤达 DDD 领域驱动设计思想 第二章作业(重新划分SmartRM的子域和限界上下文)

代廉洁

尤达DDD领域驱动设计思想

拿下10+OFFER总结的HR常问问题

暖蓝笔记

3月月更

一文彻底搞懂原型链

CRMEB

微博评论的高性能高可用计算架构

AragornYang

架构训练营 架构实战营

做一个小程序到底要多少钱?都有哪些费用?

源字节1号

开源 前端开发 后端开发 开发小程序

Hoo虎符研究院| 稳定币的主要分类及发展趋势

区块链前沿News

虎符研究院 稳定币

不要再让数据科学家管理Kubernetes集群了_AI&大模型_Caleb Kaiser_InfoQ精选文章