写点什么

以 Kubernetes 为舟 ,渡 AI 驱动的开发之河

  • 2020-03-03
  • 本文字数:2931 字

    阅读完需:约 10 分钟

以 Kubernetes 为舟 ,渡 AI 驱动的开发之河

每一次产业革命都会加速历史进程。科技成果商品化周期大幅缩短,科学技术转化为生产力进程极速提升,“摩尔定律”带来行业颠覆。AI(人工智能)已经从单一的“概念”演进成喷薄而来的第三次人工智能浪潮,引来全球范围内无数大公司进场竞技,无数资本争相布局赛道。


当下,一场以 Kubernetes 为基础, AI 驱动的开发变革拉开序幕,那些如才云 Caicloud 一样以智能云计算之力赋能企业实现算力与算法的民主化、普惠化的企业,登上浪潮之巅。

云原生的代名词 Kubernetes

Kubernetes 正在成为云原生的代名词。作为一个开源平台,它支持跨多个生态系统的容器化微服务的开发、部署、编排和管理。


Kubernetes 是云原生微服务的关键,这些微服务具备平台无感知属性,它们侧重于动态管理,松散耦合,具备分布式,隔离性,高效性和可扩展性。随着容器、编排、Service Mesh、不可变基础架构和声明性 API 应用程度地不断加深,Kubernetes 的成熟度日益提高。


Kubernetes 走向成熟的一个明显标志是:一个丰富生态系统围绕它逐渐形成。这个生态包括远程过程调用(gRPC),容器网络接口(CNI),基于 DNS 的服务发现(CoreDNS),打包环境(Helm),服务网格和代理(Istio 和 Envoy),VM-共存环境(Kubevirt),事务故障排除接口(Jaeger 调试环境(Linkerd)),对象存储系统(Rook))和消息传递环境(NATS)。


Kubernetes 日益占据编排界主导地位的另一个标志是其迅速扩大的企业采用率。据 Cloud Native Computing Foundation (CNCF)最近公布的企业用户调查报告显示:


  • 自 2017 年 12 月以来,企业使用云原生技术的增长超过 200%,对企业来说 Kubernetes 无疑是容器管理的首选。

  • 有 83% 的人表示他们正在私有云、公有云、混合云或多云部署中使用 Kubernetes。

  • 大约 40% 的企业受访者表示他们正在生产环境下使用 Kubernetes。


Kubernetes 成为各大云计算供应商的制胜关键点。几乎所有领先的公有云提供商都针对这种开源技术进行了大量投资。比如 AWS、Microsoft、Google、IBM、Oracle 和阿里巴巴都有各自的 Kubernetes 引擎,当然 Red Hat, Cisco,VMware 等公司也不甘其后。

AI 驱动的开发已成趋势

10 月 15 日,Gartner 分析师公布了 2019 年十大战略性技术趋势,其中 AI 驱动的开发(AI Driven Development)上榜成为为企业带来新机会、推动新颠覆的趋势之一。



Gartner 公布 2019 年的十大战略性技术趋势


随着科技地迅猛发展,在传统开发环境中专业数据科学家必须与应用软件开发人员合作开发 AI 解决方案的模型已被颠覆。AI 算法和模型组成的生态演进,让应用软件开发变成一种预定义模型。未来将有越来越多的专业开发人员,会使用将 AI 功能和模型集成到解决方案中的定制化开发工具,自主进行 AI 软件开发。Gartner 分析师预测,到 2022 年,至少 40% 的新应用软件开发项目会在团队中有 AI 开发人员协同工作。


基于 AI 的开发环境高度发展,将使应用软件在功能和非功能方面实现全面自动化,开发人员最终将迎来“AI 民主化”的新时代;在新环境下,即使非专业人员也能够使用 AI 驱动的工具自动生成新的解决方案。


作为新一代人工智能(AI)、机器学习(ML)、数据管理和云原生环境中的分布式存储的基础,Kubernetes 无疑是这个时代的“弄潮儿”。


2018 年的过去几个月,围绕 Kubernetes 构建的数据生态繁荣依旧:


  • Hortonworks,IBM 和 Red Hat 宣布开放混合架构计划(Open Hybrid Architecture Initiative),其目的是试图将 Hadoop 整体模块化和集成化,在 Kubernetes 上协调基于 Hadoop 的 DevOps pipeline 和 workload,并将这些供应商各自的解决方案组合发展为全面实施的混合、边缘和流媒体部署新兴框架;

  • Apache Hadoop Ozone 推出新的子项目,该子项目正在开发可扩展的分布式对象存储。它专为容器化环境而设计,例如存储和计算已经解耦的 Kubernetes;

  • NVIDIA 发布了 TensorRT inference 服务器,这是一种软件解决方案,可将 Kubernetes 用于 TensorRT,TensorFlow 或 ONNX 模型的协调部署,以及基于驻地数据中心和云的 GPU 和 CPU 的异构集群;

  • Dataiku 发布了其 ML pipeline 第 5 版自动化工具,该工具除了添加其他新功能之外,还为内存处理 Python 和 R 代码添加了完整的容器化功能,并自动部署到 Kubernetes 集群以实现计算弹性,可实现更多扩展和轻松隔离资源;

  • IBM 与 MayaData 合作将 OpenEBS 带入其 Cloud Private 环境,OpenEBS 可为 Kubernetes 上的有状态应用程序提供超融合块存储;

  • Lightbend 发布了 Kubernetes 优化 2.0 版本,新版本支持在 Kafka、Spark、Akka、HDFS 和其他环境中部署响应式流式微服务(Reactive streaming microservices)的 Fast Data 平台。


这些创新进一步加速了 AI 生态系统每个组件的解耦,容器化和协调部署。AI 开发人员正将所需功能构建为功能原语,例如构建容器化、编排和管理的微服务。

AI 开发未来可期

不久的将来,作为微服务开放的 AI 功能原语将包括整个 AI 模型的粗粒度功能(例如,分类、聚类、识别、预测、自然语言处理)和细粒度功能(卷积、重现、池化等)这些模型组成。在平台无感知的基于 Kubernetes 的 AI pipeline 新兴世界中,这些功能原语微服务将具有以下核心功能:


  • 在分布式 AI 控制层内协调复杂模式;

  • RESTful API 可独立暴露并且可编程,以便在不影响互操作性的情况下实现轻松重用,演进或替换。

  • 支持不同编程语言、算法库、云数据库以及其他支持后端基础架构的开发。

  • 依靠后端中间件结构实现可靠的消息传递、事务性回滚和长期运行的编排功能;

  • 可暴露无状态、事件驱动和 Serverless 接口,以便在后端云基础架构上透明地执行,而无需开发人员了解 IT 资源的配置位置和方式;

  • 通过抽象层支持加速 AI 开发,该抽象层将声明性程序规范编译为每个粒度级别的 AI 模型。


我们确定未来将会看到,越来越多的行业采用 Kubeflow 和 Seldon 项目下定义的 AI pipeline 框架。它们旨在简化和扩展 Kubernetes / Istio 多云和边缘环境中容器化 AI 模型的框架无感知建模、培训、服务和管理。它们支持将松散耦合的 AI 应用程序持续集成和部署到云原生生产环境中,并通过部署的微服务进行全生命周期更新、扩展、监控和安全性。

才云坚守 AI 民主化之初心

未来,在基于 Kubernetes 的云生态系统中,AI 驱动的智能将完全嵌入到每个边缘和云服务中, AI 功能将被彻底解耦,并广泛地传播开来,最终无形地融入进人们的生活中。


作为国内持续推进 AI 普惠化的杰出代表,Caicloud 敏锐感知趋势,着力把握 Kubernetes 之上运行 ML(机器学习)的云业务新热点,使用云原生为企业开发像数据分析、机器学习及 AI 这样的新兴软件赋能,帮助企业实现从数字化转型到智能化转能。


基于丰富的 AI 技术落地经验及对客户应用场景的深入了解,Caicloud 以 Kubernetes 的巨大算力为支撑,不断探索机器学习相关的部署和应用程序。


近几个月来,Kubernetes + ML(Caicloud Compass 和 Caicloud Clever)平台产品已在电商行业、餐饮行业、能源行业、房地产行业和时尚行业等诸多中国 500 强企业客户成功落地。Caicloud 将始终坚守实现 AI 民主化之初心,让每个人、每个家庭、每个组织、每个行业浸润其中,尽享 AI 时代红利。


本文转载自才云 Caicloud 公众号。


原文链接:https://mp.weixin.qq.com/s/UhVMR10X-EtwgU1msOQKtA


2020-03-03 20:20942

评论

发布
暂无评论
发现更多内容

从源码全面解析 ArrayBlockingQueue 的来龙去脉

做梦都在改BUG

Java 源码 ArrayBlockingQueue

PHP 中数组是如何灵活支持多数据类型的?

架构精进之路

php 数组 后端 三周年连更

华为云虚拟专用网络VPN常见问题解答

YG科技

AI降临,前端启用面壁计划

京东科技开发者

人工智能 AI 前端 企业号 4 月 PK 榜

复旦MOSS大模型开源了「中国版ChatGPT」,Github和Hugging Face同时上线

肥晨

三周年连更

中国信通院“OSCAR开源生态建设沙龙”成功召开

中国IDC圈

开源

率失真函数的性质

timerring

信息论与编码

华为云桌面,如何为企业构建新型工作方式

平平无奇爱好科技

企业数据的最后防线——华为云数据灾备

YG科技

云计算,

Linux面试必备

袁袁袁袁满

三周年连更

NFT加密钱包交易系统开发搭建技术

薇電13242772558

NFT

面试还不懂JVM调优,看这篇就够了

程序员小毕

程序员 面试 后端 架构师 jvm调优

华为云OBS,助力企业海量、安全、高可靠、低成本数据存储

轶天下事

云计算,

Tars-Cpp 协程实现分析

vivo互联网技术

协程 TARS

华为云大数据BI解决方案,助力企业数字化运营

平平无奇爱好科技

华为云桌面——云端上“最卷的云”

平平无奇爱好科技

Guava的EventBus事件机制实现

Java你猿哥

Java 源码 ssm Guava EventBus

NPM 实用命令与快捷方式

SEAL安全

JavaScript npm 企业号 4 月 PK 榜

华为云桌面随需而至,让办公数字化触手可及

平平无奇爱好科技

华为云CDN赋能企业数字化转型

YG科技

面试官:介绍一下什么是缓存雪崩、缓存击穿、缓存穿透?

做梦都在改BUG

Java redis 缓存穿透 缓存击穿 缓存雪崩

Matlab实现粒子群算法

Shine

三周年连更

4月26日-30日,KaiwuDB 在数字中国等你!

KaiwuDB

数字中国 KaiwuDB

摆脱终端束缚,华为云桌面助力企业数字化转型

平平无奇爱好科技

灵活高效,华为云桌面实现随时随地办公

YG科技

浅谈华为云CDN在互联网领域的应用场景落地

YG科技

THREE.JS实现炫酷的3D简历网站

知心宝贝

前端 后端 3D ThreeJS 三周年连更

华为云大数据BI解决方案,助力企业数字化运营

轶天下事

华为云CDN加速,赋能企业数字化转型升级

YG科技

华为云大数据BI方案为房地产行业数字化发展赋能

轶天下事

云计算,

企业上云,华为云桌面兼顾效率与安全

平平无奇爱好科技

以 Kubernetes 为舟 ,渡 AI 驱动的开发之河_AI&大模型_才云科技_InfoQ精选文章