看新闻很累？看技术新闻更累？试试下载 InfoQ 手机客户端，每天上下班路上听新闻，有趣还有料！
Daniel Whitenack 在最近举行的北美 2017 KubeCon+CloudNativeCon 大会上分享了如何使用 TensorFlow 和 Kubernetes 进行基于 GPU 的深度学习。
他以物体检测为例子介绍了一种典型的人工智能工作流程。该工作流程包括预处理、模型训练、模型生成和模型推理。这些步骤都可以运行在 Docker 容器里。
模型训练一般是通过框架来完成的，如 TensorFlow 或 Caffe。在这一阶段，GPU 可用于帮助提升性能。深度学习在使用 TensorFlow 或其他框架时，需要借助 GPU 在图像数据上训练模型。
模型训练可以运行在 Kubernetes 集群的 GPU 节点上。Kubernetes 为多 GPU 节点提供了一个非常好的框架，按照如下步骤可实现更好的工作流：
-
将数据正确地分配代码（pod）。
-
在正确的节点上处理数据。
-
在正确的时间触发正确的代码。
该工作流程也可以用于跟踪哪个版本的代码和数据产生了哪些结果（用于调试、维护和合规的目的）。
Kubernetes 为此提供了基础支持，也因为它具备了可移植性和可伸缩性，所以非常适用于机器学习项目。
Whitenack 介绍了一个叫作 Pachyderm 的开源项目，它支持数据管道，并为 Kubernetes 提供了数据管理层。工作流中一般会包含多个数据预处理和后处理作业。Pachyderm 提供了统一的框架用于调度多步骤工作流、数据管理和向 GPU 分配工作负载。
Pachyderm 框架的特性包括：
-
数据版本：版本化的数据可存储在 Amazon S3 数据库里。
-
用于分析的容器。
-
分布式管道或数据处理 DAG。
-
数据监管：可用于合规和调试。
Whitenack 在现场进行了演示，使用 Pachyderm 和 Kubernetes 实现了一个 AI 工作流。示例应用程序实现了图像到图像的转换，将卫星图自动转成地图。他在例子中使用 TensorFlow 进行模型训练和推理。
如果读者对 Pachyderm 框架感兴趣，可以参考机器学习示例、开发者文档、 Kubernetes GPU 文档，或者直接加入 Slack 通道。
查看英文原文： Building GPU Accelerated Workflows with TensorFlow and Kubernetes
公众号推荐：
2024 年 1 月，InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》，揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步，预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」，回复「大模型报告」免费获取电子版研究报告。
暂无签名
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论