红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

以 Kubernetes 为舟 ,渡 AI 驱动的开发之河

  • 2020-03-03
  • 本文字数:2931 字

    阅读完需:约 10 分钟

以 Kubernetes 为舟 ,渡 AI 驱动的开发之河

每一次产业革命都会加速历史进程。科技成果商品化周期大幅缩短,科学技术转化为生产力进程极速提升,“摩尔定律”带来行业颠覆。AI(人工智能)已经从单一的“概念”演进成喷薄而来的第三次人工智能浪潮,引来全球范围内无数大公司进场竞技,无数资本争相布局赛道。


当下,一场以 Kubernetes 为基础, AI 驱动的开发变革拉开序幕,那些如才云 Caicloud 一样以智能云计算之力赋能企业实现算力与算法的民主化、普惠化的企业,登上浪潮之巅。

云原生的代名词 Kubernetes

Kubernetes 正在成为云原生的代名词。作为一个开源平台,它支持跨多个生态系统的容器化微服务的开发、部署、编排和管理。


Kubernetes 是云原生微服务的关键,这些微服务具备平台无感知属性,它们侧重于动态管理,松散耦合,具备分布式,隔离性,高效性和可扩展性。随着容器、编排、Service Mesh、不可变基础架构和声明性 API 应用程度地不断加深,Kubernetes 的成熟度日益提高。


Kubernetes 走向成熟的一个明显标志是:一个丰富生态系统围绕它逐渐形成。这个生态包括远程过程调用(gRPC),容器网络接口(CNI),基于 DNS 的服务发现(CoreDNS),打包环境(Helm),服务网格和代理(Istio 和 Envoy),VM-共存环境(Kubevirt),事务故障排除接口(Jaeger 调试环境(Linkerd)),对象存储系统(Rook))和消息传递环境(NATS)。


Kubernetes 日益占据编排界主导地位的另一个标志是其迅速扩大的企业采用率。据 Cloud Native Computing Foundation (CNCF)最近公布的企业用户调查报告显示:


  • 自 2017 年 12 月以来,企业使用云原生技术的增长超过 200%,对企业来说 Kubernetes 无疑是容器管理的首选。

  • 有 83% 的人表示他们正在私有云、公有云、混合云或多云部署中使用 Kubernetes。

  • 大约 40% 的企业受访者表示他们正在生产环境下使用 Kubernetes。


Kubernetes 成为各大云计算供应商的制胜关键点。几乎所有领先的公有云提供商都针对这种开源技术进行了大量投资。比如 AWS、Microsoft、Google、IBM、Oracle 和阿里巴巴都有各自的 Kubernetes 引擎,当然 Red Hat, Cisco,VMware 等公司也不甘其后。

AI 驱动的开发已成趋势

10 月 15 日,Gartner 分析师公布了 2019 年十大战略性技术趋势,其中 AI 驱动的开发(AI Driven Development)上榜成为为企业带来新机会、推动新颠覆的趋势之一。



Gartner 公布 2019 年的十大战略性技术趋势


随着科技地迅猛发展,在传统开发环境中专业数据科学家必须与应用软件开发人员合作开发 AI 解决方案的模型已被颠覆。AI 算法和模型组成的生态演进,让应用软件开发变成一种预定义模型。未来将有越来越多的专业开发人员,会使用将 AI 功能和模型集成到解决方案中的定制化开发工具,自主进行 AI 软件开发。Gartner 分析师预测,到 2022 年,至少 40% 的新应用软件开发项目会在团队中有 AI 开发人员协同工作。


基于 AI 的开发环境高度发展,将使应用软件在功能和非功能方面实现全面自动化,开发人员最终将迎来“AI 民主化”的新时代;在新环境下,即使非专业人员也能够使用 AI 驱动的工具自动生成新的解决方案。


作为新一代人工智能(AI)、机器学习(ML)、数据管理和云原生环境中的分布式存储的基础,Kubernetes 无疑是这个时代的“弄潮儿”。


2018 年的过去几个月,围绕 Kubernetes 构建的数据生态繁荣依旧:


  • Hortonworks,IBM 和 Red Hat 宣布开放混合架构计划(Open Hybrid Architecture Initiative),其目的是试图将 Hadoop 整体模块化和集成化,在 Kubernetes 上协调基于 Hadoop 的 DevOps pipeline 和 workload,并将这些供应商各自的解决方案组合发展为全面实施的混合、边缘和流媒体部署新兴框架;

  • Apache Hadoop Ozone 推出新的子项目,该子项目正在开发可扩展的分布式对象存储。它专为容器化环境而设计,例如存储和计算已经解耦的 Kubernetes;

  • NVIDIA 发布了 TensorRT inference 服务器,这是一种软件解决方案,可将 Kubernetes 用于 TensorRT,TensorFlow 或 ONNX 模型的协调部署,以及基于驻地数据中心和云的 GPU 和 CPU 的异构集群;

  • Dataiku 发布了其 ML pipeline 第 5 版自动化工具,该工具除了添加其他新功能之外,还为内存处理 Python 和 R 代码添加了完整的容器化功能,并自动部署到 Kubernetes 集群以实现计算弹性,可实现更多扩展和轻松隔离资源;

  • IBM 与 MayaData 合作将 OpenEBS 带入其 Cloud Private 环境,OpenEBS 可为 Kubernetes 上的有状态应用程序提供超融合块存储;

  • Lightbend 发布了 Kubernetes 优化 2.0 版本,新版本支持在 Kafka、Spark、Akka、HDFS 和其他环境中部署响应式流式微服务(Reactive streaming microservices)的 Fast Data 平台。


这些创新进一步加速了 AI 生态系统每个组件的解耦,容器化和协调部署。AI 开发人员正将所需功能构建为功能原语,例如构建容器化、编排和管理的微服务。

AI 开发未来可期

不久的将来,作为微服务开放的 AI 功能原语将包括整个 AI 模型的粗粒度功能(例如,分类、聚类、识别、预测、自然语言处理)和细粒度功能(卷积、重现、池化等)这些模型组成。在平台无感知的基于 Kubernetes 的 AI pipeline 新兴世界中,这些功能原语微服务将具有以下核心功能:


  • 在分布式 AI 控制层内协调复杂模式;

  • RESTful API 可独立暴露并且可编程,以便在不影响互操作性的情况下实现轻松重用,演进或替换。

  • 支持不同编程语言、算法库、云数据库以及其他支持后端基础架构的开发。

  • 依靠后端中间件结构实现可靠的消息传递、事务性回滚和长期运行的编排功能;

  • 可暴露无状态、事件驱动和 Serverless 接口,以便在后端云基础架构上透明地执行,而无需开发人员了解 IT 资源的配置位置和方式;

  • 通过抽象层支持加速 AI 开发,该抽象层将声明性程序规范编译为每个粒度级别的 AI 模型。


我们确定未来将会看到,越来越多的行业采用 Kubeflow 和 Seldon 项目下定义的 AI pipeline 框架。它们旨在简化和扩展 Kubernetes / Istio 多云和边缘环境中容器化 AI 模型的框架无感知建模、培训、服务和管理。它们支持将松散耦合的 AI 应用程序持续集成和部署到云原生生产环境中,并通过部署的微服务进行全生命周期更新、扩展、监控和安全性。

才云坚守 AI 民主化之初心

未来,在基于 Kubernetes 的云生态系统中,AI 驱动的智能将完全嵌入到每个边缘和云服务中, AI 功能将被彻底解耦,并广泛地传播开来,最终无形地融入进人们的生活中。


作为国内持续推进 AI 普惠化的杰出代表,Caicloud 敏锐感知趋势,着力把握 Kubernetes 之上运行 ML(机器学习)的云业务新热点,使用云原生为企业开发像数据分析、机器学习及 AI 这样的新兴软件赋能,帮助企业实现从数字化转型到智能化转能。


基于丰富的 AI 技术落地经验及对客户应用场景的深入了解,Caicloud 以 Kubernetes 的巨大算力为支撑,不断探索机器学习相关的部署和应用程序。


近几个月来,Kubernetes + ML(Caicloud Compass 和 Caicloud Clever)平台产品已在电商行业、餐饮行业、能源行业、房地产行业和时尚行业等诸多中国 500 强企业客户成功落地。Caicloud 将始终坚守实现 AI 民主化之初心,让每个人、每个家庭、每个组织、每个行业浸润其中,尽享 AI 时代红利。


本文转载自才云 Caicloud 公众号。


原文链接:https://mp.weixin.qq.com/s/UhVMR10X-EtwgU1msOQKtA


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-03-03 20:20849

评论

发布
暂无评论
发现更多内容

python爬虫--网络歌曲

木偶

Python 爬虫 10月月更

程”风破浪的开发者|说说我的学习方法

来碗老郭

学习方法 “程”风破浪的开发者

Docker | 网络及原理探究

甜点cc

Docker 运维 10月月更

Pycharm配置远程解释器并自动上传代码

渔戈

pycharm 开发工具 10月月更

Ubuntu 20.04上安装和配置MySql5.7

渔戈

ubuntu 开发工具 10月月更

【Java深入学习】一个经典问题-消费者和生产者问题-下

Geek_65222d

10月月更

spring事务失效的情况

急需上岸的小谢

10月月更

日志的艺术

俞凡

架构

Spring Boot概述(一)

Studying_swz

10月月更

Excel 文件的读取

攻城狮Wayne

学习方法 Python Monad Excel数据分析

【一Go到底】第二十二天---函数参数传递方式、变量作用域

指剑

Go golang 10月月更

Go语言入门—05数组

良猿

Go golang 后端 10月月更

spring整合mybatis、springMVC(总结)

Studying_swz

spring 10月月更

一文全貌了解线程池的正确使用姿势

JAVA旭阳

Java 线程池 10月月更

正则表达式入门与进阶

Studying_swz

正则表达式 10月月更

科兴未来-江苏盐城|第六届绿巢环保创业大赛火热启动

科兴未来News

新能源 双创 低碳环保

“程”风破浪的开发者|走近 testflight 上架

No Silver Bullet

学习方法 10月月更 “程”风破浪的开发者 testflight iOS上架

苏州太仓| 第六届“创赢太仓”全球创业大赛博士后专场项目征集公告

科兴未来News

生物医药 双创大赛承办 苏州 医疗器械 博士后

ScheduledThreadPoolExecutor踩过最痛的坑

JAVA旭阳

Java 线程池 10月月更

Docker | Compose创建mysql容器

甜点cc

MySQL Docker 10月月更

Vue组件入门(十二)具名插槽

Augus

Vue 10月月更

在平面国生活,会是怎样的体验?

脑极体

人工智能

Linux 驱动开发:USB无线wifi驱动开发(MT7601)、完成WIFI管理工具安装

DS小龙哥

10月月更

Linux基础命令

渔戈

Linux ubuntu 10月月更

Spring Boot「11」查看所有托管的 Bean

Samson

Java spring 学习笔记 spring-boot 10月月更

Flex布局教程:语法篇

木偶

css3 前端 10月月更

可靠消息最终一致性分布式事务

C++后台开发

数据库 分布式 后端开发 linux开发 C++开发

node.js

急需上岸的小谢

10月月更

【kubernetes技术专题】Kubernetes架构分析介绍篇(进阶篇)

洛神灬殇

Kubernetes 10月月更

消息中间件:概念&应用

agnostic

消息中间件

学习线程池原理从手写一个线程池开始

JAVA旭阳

Java 线程池 10月月更

以 Kubernetes 为舟 ,渡 AI 驱动的开发之河_AI&大模型_才云科技_InfoQ精选文章