AIGC革命已来,如何在企业场景落地?如何选择模型、怎样应用RAG、需要哪些组织流程配套? 了解详情
写点什么

明略科技 AI 中台的技术应用与实践

  • 2019-12-26
  • 本文字数:3146 字

    阅读完需:约 10 分钟

明略科技AI中台的技术应用与实践

AI 闭环与 AI 中台


人工智能,按照智能化程度,可分为 5 级。第一级,识别能力,通过泛在多维感知,将高质量的数据连接起来。第二级,理解能力,基于可积累的行业符号体系的智能抽取技术,构建千亿知识网络的知识图谱数据库。第三级,分析能力,通过知识图谱、暴力挖掘对知识进行多维度分析推理,打造决策模型。第四级,决策能力,建立明确的行动计划,指导行动,实现智能决策。第五级,创新能力,也就是智能的终极本质。从识别感知,到理解分析,再到决策行动,循环反馈,形成 AI 闭环。相应地,需要建设感知应用基础设施,数据中台、AI 中台、业务中台,行动系统,才能实现 AI 闭环的落地,其中数据中台、AI 中台、业务中台,是核心,承担 AI 大脑的角色。


在技术实践中,明略科技采取的是数据中台、AI 中台、业务中台微服务架构。底层是数据中台,包括数据接入、存储、处理和输出。中间层是 AI 中台,提供模型线上部署,包括推荐服务和识别相关的各类模型,以及自动参数优化等。上层是业务中台,通过算法统一打通,支持数据清洗、标签、实时数据分析服务、洞察服务。


AI 中台,本质上是 AI 应用全生命周期的开发和管理平台,用于数据分析与处理、模型训练与评估、模型应用与监控。提供统一的数据存储系统,和基于容器的异构计算资源管理系统、机器学习库与模型训练实验管理系统以及模型部署与运行监控系统,采用分布式模型训练,大幅提升数据和模型的性能、效果、目标。



具体而言,AI 中台具备六大能力。第一,统一的存储空间,支持多数据源导入。第二,Pipeline 可视化工作流管理与执行,支持数据科学家从数据建模阶段开始的可视化管理,节省成本,快速体现数据科学家的价值。第三,基于容器的计算资源分配和软件库安装,支持 TensorFlow、PyTorch 等各种框架。第四,支持 GPU、TPU、CPU 框架和基于异构计算的模型管理。第五,模型管理,支持新手快速上手,无需通过自己实现原始算法,只需要理解算法原理就可以通过调参实现。第六,AI Serving,模型一键封装为 API,一键部署。


AI 中台,以实现业务智能为目标,为数据科学家团队提供服务,加速用户画像、推荐系统、图像识别、智能客服等智能应用开发。以此为基础快速迭代,扩大 AI 应用覆盖面,推动 AI 技术在其他行业领域的落地应用。

AI 中台落地的技术挑战与实现路径

AI 中台在实际落地过程中,却存在着不少挑战。首先,数据分散,以多种形式存储在多个系统中,需要统一存储。第二,流程复杂,相互依赖性强,需要统一流程。第三,存在 Spark、TensorFlow、Pytorch、Lightgbm 等多种多样的软件环境,需要统一协调。第四,模型训练时间长,需要管理大量模型训练实验。第五,模型影响因素多,需要管理大量模型版本。第六,AI 模型难部署,需要专用软件环境,深度学习对算力要求高,资源管理难度大,需要多方面优化性能。


目前,国内外主流的 AI 平台架构,都在试图解决这些问题。


第一类是 BATJ、网易、小米、讯飞的开放 AI 平台,这类 AI 平台通常采用 Docker+Yarn 或者 Docker +K8s 架构,提供图像、语音识别等应用能力,通过 Restful API 的方式,提供服务的使用,但数据必须要发给平台方。BAT 以外的厂商,一般只能提供某一方面的能力,如需使用多个能力,则需使用多个平台的产品,管理和开发的复杂度较高。AI 中台大部分部署在客户私有集群、私有机房。


第二类是 Acumos AI,通过把 AI 学习中的各环节微服务化,以 MarketPlace 的方式实现发布和共享,但文档缺失严重,部署和使用不方便,上手成本高。


第三类是 MLflow,通过 Tracking、Project、Models 3 个层面的抽象,整合所有的机器学习和人工智能算法和模型,但对于全流程集成的支持尚欠缺,比如数据导入和管理,模型的部署,资源的管理等。


第四类是 OpenPAI,通过 K8s 实现云、单机、集群的多环境,支持多种主流框架,具备资源管理的功能,但对于全流程集成尚欠缺。传统的集群,数据科学家实验室,没有实线上突破,模型到线上部署很难实现。


明略科技从三个层次来进行 AI 平台的架构设计。


第一层,基础设施,以满足数据、算法模型和过程性能要求。第二层,容器集群,以计算调度引擎为主。第三层,由三部分构成,一是数据处理模型,二是模型训练,涵盖目前最流行的 Parameter Server 等模型,三是模型 Serving,满足 Model Server、Model Converter 相关的线上场景需求。



基于此,明略科技 AI 中台主要有以下特点。


第一,数据存储和计算任务分离,计算任务通过内部高速网络读写数据,避免数据再次“搬运”。


第二,ETL 集成,拖拽式任务设计,支持定时任务和事件触发,内建 Mysql、HDFS、Kafka 等多种数据源,Spark、Flink 等计算引擎。把已有的 MySQL、Kafka 与系统完美融合,以可视化方式看到各种统计,这个理念与数据中台的理念一致,单独的子系统可以实现可视化、监控、任务、管理。


第三,支持 Notebook 交互式开发,符合数据科学家习惯,促进业务价值。可实现 Python based 交互式场景,支持 TensorFlow Pytorch 等多使流行框架,CPU、GPU 资源控制,单机集群计算资源。这是基于原生态的 Jupyter notebook 实现,数据科学家可以指定单机还是集成方式,快速解决实际问题,通过交互式数据开发环境,选择不同 Kernel 可连接到不同计算资源。


第四,Pipeline 的实现,Docker based 可复用,运行状态可视化,比如,A 数据科学家用的是 Tensorflow,B 数据科学家用的是 Spark,保证兼容,每次运行结果存档,生成 DAG 图,快速看到逻辑和节点问题。


第五,弹性扩展的 Model Serving,基于 k8s 和微服务技术,每个模型都部署一个微服务,同时支持 RESTFul 和 gRPC 协议访问,自动解决了负载均衡和 FailedOver 的问题,可自动按负载动态扩缩容 AutoScale,滚动升级和 ABtest 等多版本对比环境,支持 Java、Pyhton、C++等多语言部署,灵活性高。


第六,语言和框架,支持 TensorFlow、PyTorch、Spark、MPI、MXNet 等框架,Python、R、Java 等语言。


第七,提供图像识别、推荐系统、NLP 三大类别的内置模型分析。


第八,提供 AI 中台监控,可全面监控集群多项基础指标以及各运行任务粒度资源使用情况,内置集成报警功能,可实现数据实时可视化。


总之,明略科技的 AI 中台最核心的三点优势是,可与现有数据大数据平台无缝对接,支持异构计算和扩展框架。

AI 中台技术实践案例

在零售业,明略科技为行业领先的某新零售公司打造了 AI 中台,主要带来了三方面的提升。首先,改变了探索方式和时间效率。数据科学家写代码通常是交互式的,原先类似拖拉式的方式无法满足数据科学家的需求,明略科技的 AI 中台使探索方式变得更加灵活,并且探索时间从 15 天减到了 7 天。第二,改变了模型发布方式和发布效率。原先的做法是,算法工程师写完一套,工程师重写一遍,然后再上线,使用 AI 中台后,可快速上线同时做 AB 测试、滚动升级、小流量测试等,平均发布时间也从 15 天大幅降低。第三,原先 AB 测试需要人工重度参与,且复用性差,现在则能轻松应对。


在银行业,明略科技为国内某大型国有银行打造了基于 AI 中台的从关键词到知识图谱相关的推荐系统。基于 AI 中台可以快速实现实时请求查询,线下场景离线与 AI 中台无缝切换,模型 Serving 与数据中台、业务中台无缝对接,通过管理系统实时看到策略、排序等。


在对话机器人领域,明略科技基于知识图谱和 AI 中台技术能力打造了客服机器人。虽然深度学习、神经网络的算出的结果可能是准确的,但过程无法解释,而知识图谱是实体关系属性,组成网状结构,具有可解释性。在构建知识图谱时,将行业知识与客户企业内部知识相结合,实现隐性关系的挖掘,快速解决问题。AI 中台把聊天客服机器人、算法、知识图谱进行有机融合,确保了基于领域知识图谱对话客服机器人的准确性和有效性。


作者介绍:


卢亿雷,明略科技集团副总裁兼推荐/推理系统负责人


2019-12-26 08:042452

评论 1 条评论

发布
用户头像
额,文中总结的八个特点,除了第七里面的自有算法,其他7点跟其他平台有什么区别吗?
2019-12-31 11:27
回复
没有更多了
发现更多内容

盘点2020 | 云上建站流程全解,教你如何节约成本

老魚

云服务器 建站 盘点2020 web全栈

第十三周 学习总结

熊桂平

极客大学架构师训练营

十日谈:我的 2020

escray

2020 七日更 十日谈

数字货币量化交易所系统开发案例

架构师 3 期 3 班 -week5- 作业

zbest

作业 week5

什么是定点数?

Kaito

计算机基础

数字货币持币生息钱包系统开发案例

区块链交易所系统开发,合约交易模式软件方案

和 lvgo 一起学习设计模式.PDF

米凤君

Java 设计模式 23种设计模式

vivo 商城架构升级-SSR 实战篇

vivo互联网技术

大前端 服务端 Node SSR

RPC 核心,万变不离其宗

yes

Java 微服务 后端 RPC

【STL 源码剖析】浅谈 STL 迭代器与 traits 编程技法

herongwei

c++ 后端 迭代器模式 源码剖析 stl

阿里不允许使用 Executors 创建线程池!那怎么使用,怎么监控?

小傅哥

Java JVMTI 线程池 七日更 Executors

第十三周 作业

熊桂平

极客大学架构师训练营

数字资产交易所系统开发交易平台APP

智慧公安防控管理,重点人员管控系统建设方案

t13823115967

智慧公安 情报研判系统建设

生产环境全链路压测建设历程 16:淘宝网高可用历程的总结

数列科技杨德华

全链路压测 七日更

文件写入的6种方法,这种方法性能最好

王磊

Java io 文件读写 文件操作 文件写入

数字货币交易所币币OTC交易系统开发

量化交易模式系统开发app案例

Linux安装MySQL标准教程

Simon

MySQL centos 安装 七日更

区块链钱包软件系统开发及费用

智慧平安小区搭建,智慧社区综合服务平台开发

t13823115967

智慧城市 智慧社区管理平台开发

Flutter动态创建UI实现方案

FisherJoe

Win10环境前后端分离项目基于Vue.js+Django+Python3实现微信(wechat)扫码支付流程(2021年最新攻略)

刘悦的技术博客

django Vue 微信支付 python3 请求数据 扫码

突破某度云盘下载限速,提速30倍!想学?我教你啊

Silently9527

百度云 HTTP

架构师 3 期 3 班 -week5- 总结

zbest

总结 week5

架构的业务属性

soolaugust

架构 设计 架构师 七日更

FGC青蛙钱包系统开发|FGC青蛙钱包软件APP开发

系统开发

全球第一个 Serverless Redis 服务:Lambda Store 免费用

donghui

redis Serverless Lambda Store

架构师训练营第十一周作业

文智

极客大学架构师训练营

明略科技AI中台的技术应用与实践_AI&大模型_卢亿雷_InfoQ精选文章