限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

英特尔开源分布式深度学习平台 Nauta,使用 Kubernetes 和 Docker 平台运行

  • 2019-01-24
  • 本文字数:1813 字

    阅读完需:约 6 分钟

英特尔开源分布式深度学习平台Nauta,使用Kubernetes 和 Docker 平台运行

1 月 24 日,英特尔发表博文宣布开源其分布式深度学习平台 Nauta。Nauta 使用业界领先的 Kubernetes 和 Docker 平台运行,以实现可扩展性和易管理性。


GitHub 开源地址:https://github.com/intelAI/Nauta


随着越来越多的企业探索在业务中使用 AI 来改善商业模式,AI 继续不断发展。根据 Gartner 最近一份报告显示,AI 部署已经产生巨大实际价值,2022 年价值有望达到 4 万亿美元。AI 中的深度学习也获得快速发展,据德勤一份 2018 年地调查显示,有将近 50% 的受访者表示已经采用了深度学习。虽然业务价值持续增长,并且企业对深度学习的兴趣显而易见,但集成、验证和优化深度学习解决方案仍然是一项复杂,有风险且耗时的工作。这就是英特尔使用 Kubernetes 为分布式深度学习引入 Nauta 开源平台的原因。

Nauta 是什么?

Nauta 提供了一个多用户的分布式计算环境,用于运行深度学习模型训练实验。它可以使用命令行界面、Web UI 和/或 TensorBoard 查看和监控实验结果。你可以使用现有数据集,自己的数据或在线下载的数据创建公共或私人文件夹,更轻松地在团队之间进行协作。


Nauta 使用业界领先的 Kubernetes 和 Docker 平台运行,以实现可扩展性和易管理性。为了让创建和运行单节点和多节点深度学习训练实验更简单,该平台兼容各种深度学习框架和工具的模板包(并可自定义),而无需标准容器环境所需的所有系统开销和脚本。


在模型测试中,Nauta 还支持批量和流式推理,所有工作在一个平台上完成。



(图 1:使用 Nauta 训练并部署深度学习网络)

面向开发人员,支持 Kubernetes 和容器化

英特尔在创建 Nauta 工作流程中考虑到了开发人员和数据科学家。Nauta 是一个企业级堆栈,适用于需要进行深度学习模型训练并在生产中部署团队。使用 Nauta,用户可以在单个或多个工作节点上使用 Kubernetes 定义并进行容器化的深度学习实验,并检查这些实验的状态和结果,以进一步调整和运行其他实验,或准备训练模型进行部署。

Nauta 特性

  • Nauta 使用户能够利用来自经验丰富的机器学习开发人员和运营商的共享最佳实践,而不会牺牲灵活性。

  • 在每个抽象级别,开发人员仍然有机会回退到 Kubernetes 并直接使用原语。

  • Nauta 让新手在有保障的情况下进行实验。精心挑选的组件和直观的用户体验减少了对开源 DL 服务的生产准备,配置和互操作性的担忧。

  • 支持多团队成员协作,作业输入和输出可以在团队成员之间共享,并通过启动 TensorBoard 来查看其他人的工作检查点,帮助调试问题。



(图 2:使用 TensorBoard 和 Nauta WebUI 监控作业)

创建指南

2019 年,Nauta 将在 Q1 及更高版本中进行更新,并通过landing page维护开发者社区,鼓励开发人员和数据科学家在他们自己的堆栈上尝试 Nauta。


有关最新的技术信息,包括安装指南,用户文档以及如何参与项目,参见 Github:https://github.com/intelAI/Nauta


构建 Nauta 安装包并在 Google Cloud Platform 上顺利运行,请关注Google云平台上的Nauta 入门


有关构建 Nauta 包的详细信息,参见如何构建指南


快速启动并运行,请查看入门指南


更多信息,请参阅以下文档:


Nauta、Kubeflow Pipeline、Azure Kubernetes、Acumos AI 对比

Nauta 是可以使用 Kubernetes 或 Docker 容器的最新发布工具,这种方法让从业者在通过内部部署服务器还是云端部署 AI 之间进行选择。


11 月,谷歌推出了一个 Kubernetes 工作流程 Kubeflow Pipeline,而微软上个月在公开预览中推出了 Azure Kubernetes 服务。


Kubeflow Pipeline GitHub:https://github.com/kubeflow/pipelines


Kubeflow 是一个使用 Kubeflow Pipelines SDK 构建的可重复使用的端到端 ML 工作流程,致力于使 Kubernetes 上机器学习工作流的部署简单,可移植和可扩展。


Azure Kubernetes:https://azure.microsoft.com/en-us/services/kubernetes-service/


Azure Kubernetes 简化 Kubernetes 管理、部署和运营,使用完全托管的 Kubernetes 容器编排服务。


另外,Linux 基金会的 LF 深度学习基金也于去年秋季推出了用于深度学习的 Acumos AI 平台和开源框架,可以轻松构建、共享和部署 AI 应用程序,标准化了运行开箱即用的通用 AI 环境所需的基础架构堆栈和组件。


参考链接:


https://venturebeat.com/2019/01/23/heartland-tech-weekly-indie-vcs-funding-model-could-be-promising-for-startups-in-middle-america/


https://www.acumos.org/


https://azure.microsoft.com/en-us/services/kubernetes-service/


2019-01-24 12:116191
用户头像

发布了 98 篇内容, 共 66.1 次阅读, 收获喜欢 285 次。

关注

评论 1 条评论

发布
用户头像
kube-batch inside :)
2019-01-26 18:47
回复
没有更多了
发现更多内容

C#委托的前世今生

不在线第一只蜗牛

C#

和鲸Heywhale人工智能通识课解决方案重磅上线!

ModelWhale

Python 人工智能 大数据 教改

豆包Marscode 课程回顾 | AI 编程课「入门开发者系列」

TRAE

全面解析SD-WAN组网:提升企业网络效率

Ogcloud

SD-WAN 企业组网 SD-WAN组网 SD-WAN服务商 SD-WAN国际专线

央视《新闻联播》点赞广域铭岛:为新型工业化提供强劲动能

新消费日报

如何动态调试线程池?

江南一点雨

国产化战略下,软件信创化都有哪些利好?

FinFish

小程序容器 信创化软件 国产化软件 信创化中间件

Altair 技术助力 Cleveland Golf 打破传统设计局限,实现新款 HiBore XL 球杆强大的功能

Altair RapidMiner

AI 设计 仿真 智能制造 altair

虚拟化世界,正上演一场「星际穿越」

白洞计划

AI

非凸科技荣登“2024上海软件和信息技术服务业高成长百家”榜单

非凸科技

非凸科技 高成长百家

数百名研发人员用通义灵码,33%新增代码由AI生成,信也科技研发模式焕新升级

阿里巴巴云原生

阿里云 云原生 通义灵码

See Video, Get 3D,智源开源无标注视频学习3D生成模型See3D

智源研究院

枫清科技高雪峰:从数据到知识,重塑产业智能化的核心驱动力

Fabarta

AI应用 #大模型 生成式 AI 应用 企业 AI 应用

市场规模超 60 亿美元,语音如何改变对话式 AI?

声网

快速提升可视化设计工作效率

inBuilder低代码平台

UX 可视化设计

区块链软件系统开发:从设计到实现的全面指南

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发

避免故障逃逸最佳实践

FunTester

区块链软件系统海外宣发:全球化市场中的策略与实施

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 交易所开发代币开发

数百名研发人员用通义灵码,33%新增代码由AI生成,信也科技研发模式焕新升级

阿里云云效

阿里云 云原生 通义灵码

星芒云“1+6+N”数字生态方案

明道云

惊艳!全网首份“架构师成长笔记”GitHub狂澜9000星

Summer

Java 编程 程序员 面试 架构师

基于云主机的ModelArts模型训练实践,让开发环境化繁为简

华为云开发者联盟

容器 模型训练 华为云ModelArts AI 大底座 #docker

Spring Boot 应用 “Connection is closed” 及 MySQL 空闲超时断开连接解决方案

沉默的老李

springboot MySQL 5.7

来自阿里大佬的洗礼!全网独家的SpringBoot核心文档,讲的太清晰了

Summer

Java 程序员 面试 架构师 架构师大厂

制造业数字化转型,需要用到哪些系统,一文分析详解!

积木链小链

制造业 ERP

SD-WAN 助力SaaS应用加速,提升企业办公效率

Ogcloud

SD-WAN SD-WAN组网 SD-WAN服务商 SaaS应用加速 SD-WAN国际专线

零代码赋能港澳企业数字化转型

明道云

英特尔开源分布式深度学习平台Nauta,使用Kubernetes 和 Docker 平台运行_AI&大模型_英特尔官博_InfoQ精选文章