看新闻很累？看技术新闻更累？试试下载 InfoQ 手机客户端，每天上下班路上听新闻，有趣还有料！
Daniel Whitenack 在最近举行的北美 2017 KubeCon+CloudNativeCon 大会上分享了如何使用 TensorFlow 和 Kubernetes 进行基于 GPU 的深度学习。
他以物体检测为例子介绍了一种典型的人工智能工作流程。该工作流程包括预处理、模型训练、模型生成和模型推理。这些步骤都可以运行在 Docker 容器里。
模型训练一般是通过框架来完成的，如 TensorFlow 或 Caffe。在这一阶段，GPU 可用于帮助提升性能。深度学习在使用 TensorFlow 或其他框架时，需要借助 GPU 在图像数据上训练模型。
模型训练可以运行在 Kubernetes 集群的 GPU 节点上。Kubernetes 为多 GPU 节点提供了一个非常好的框架，按照如下步骤可实现更好的工作流：
-
将数据正确地分配代码（pod）。
-
在正确的节点上处理数据。
-
在正确的时间触发正确的代码。
该工作流程也可以用于跟踪哪个版本的代码和数据产生了哪些结果（用于调试、维护和合规的目的）。
Kubernetes 为此提供了基础支持，也因为它具备了可移植性和可伸缩性，所以非常适用于机器学习项目。
Whitenack 介绍了一个叫作 Pachyderm 的开源项目，它支持数据管道，并为 Kubernetes 提供了数据管理层。工作流中一般会包含多个数据预处理和后处理作业。Pachyderm 提供了统一的框架用于调度多步骤工作流、数据管理和向 GPU 分配工作负载。
Pachyderm 框架的特性包括：
-
数据版本：版本化的数据可存储在 Amazon S3 数据库里。
-
用于分析的容器。
-
分布式管道或数据处理 DAG。
-
数据监管：可用于合规和调试。
Whitenack 在现场进行了演示，使用 Pachyderm 和 Kubernetes 实现了一个 AI 工作流。示例应用程序实现了图像到图像的转换，将卫星图自动转成地图。他在例子中使用 TensorFlow 进行模型训练和推理。
如果读者对 Pachyderm 框架感兴趣，可以参考机器学习示例、开发者文档、 Kubernetes GPU 文档，或者直接加入 Slack 通道。
查看英文原文： Building GPU Accelerated Workflows with TensorFlow and Kubernetes
公众号推荐：
跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号，回复「开发者洞察」领取。
暂无签名
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论