【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

百分点 AI 讲堂|程佳:AI+ 时代的数据中台设计与实践

  • 2020-03-08
  • 本文字数:2210 字

    阅读完需:约 7 分钟

百分点AI讲堂|程佳:AI+时代的数据中台设计与实践


百分点产品副总监 程佳

一 百分点数据中台长什么样

作为百分点的产品副总监,程佳多年来都在面向传统企业进行 To B 级的大数据技术平台、数据资产管理平台,以及与 AI 相关产品的规划和设计。


对于数据中台,她谈到,数据中台是集数据采集、融合、治理、组织管理和智能分析为一体的平台,但它的实质是一种解决方案而不是产品。数据中台最核心的要点,是使数据能够源源不断地驱动上层业务创新,并且业务创新产生的数据又可以回流到数据中台,进行持续性的数据迭代


而在数据中台中内含的数据资产管理平台的治理体系、生命周期管理,以及 AI 中台等产品,本质上是构建数据中台过程中积累的全链路工具集。通过对这些工具的使用,再结合数据中台实施落地的方法论,就能构建一个完整的数据中台,为企业和客户创造价值。


“这也是我把这些产品定义为工具型产品的原因。而百分点做的,就是在构建数据中台的过程中提供更加智能化的工具,让企业能够更快速地构建数据中台。”程佳总结道。

二 数据中台实施标准路径

万事万物,皆有章法。百分点实施数据中台的“章法”就是“五大体系、十一个步骤”。五大体系即数据接入、数据处理、数据治理、数据组织和数据服务,而十一个步骤则是五大体系的完整运作过程共有十一步。


举例来说,当团队进场做数据中台项目时,首先项目经理要带团队做业务盘点和数据盘点工作,知晓客户业务情况;其次将数据接到大数据平台,做数据勘探、数据治理,了解现有数据的质量。之后梳理数据标准体系,做数据的标准化。接着建设数据仓库,对数据进行加工、整合与归类。归类完成后,基于数据可视的目的,对元数据进行管理,建立数据资源目录。最后完成数据的开放和共享,使数据能够在数据中台中被分析和可视化应用。


程佳笑谈:“这十一步其实都是很底层的工作,可以说是苦活、累活,我们叫搬砖的活。它只是按照数据的角度,对数据做了类别整理和数据目录展现,还没有到释放数据价值的那一步。但是它是必备步骤,没有前面这十一步,就没有后面所有的应用。”

三 用 AI 为传统企业数据中台落地提速

提高数据中台落地效率,最终目的还是把更多的时间用来做真正的价值释放。然而传统企业数据中台的使用用户群繁杂,包括大数据技术团队、数据开发团队、商业智能团队和可视化团队等。即使有数据中台标准架构的方法论、完整的团队,也并不意味着做传统企业数据中台的困境已经消失。


程佳从产品层面,总结了构建传统企业数据中台面临的三个困境:


  • 业务杂。各业务版块关系松散,各自为战,缺乏统一管理标准。客户商业模式各不相同,业务、技术解决方难。

  • 组织重。组织结构复杂,业务、技术部门的融合、协同能力不够。

  • 技术难。大数据技术门槛高,人才储备不足。


面对这些困境,程佳结合多年数据平台设计与实施经验,提出在做数据中台的产品设计时,应该更多地去想如何结合百分点“五大体系、十一个步骤”的方法论,让这一方法论的实现更简单、智能、敏捷。基于此,她提出:


  1. 将工具组件化,积木式组合快速扩充平台能力。


数据中台内含的基础服务、数据管理服务,甚至某些应用服务、前台可视化服务全部可以实现组件化。比如企业要求对某些核心数据做数据质量稽核,就可把基础服务中的任务执行引擎、认证、公共配置等完成一个质量稽核平台,通过整体服务组装成中台。


以组件的形式搭建数据中台,一方面可以保证高度的灵活、低度的耦合,组件可拆可合,同时还具备了强大的兼容性。


  1. 借助 AI 提升数据管理效率,实现数据资产管理智能化。


数据中台实施标准路径的十一个步骤缺一不可,所以就会面临全域数据整合后,无法界定具体做哪些数据或核心数据过多的问题。而借助 AI,可以使这十一步更优化、智能和敏捷。


  • 智能定义数据标准


数据治理依赖于统一标准。百分点将国标、行标结合企业实际情况,加速数据标准落地,形成百分点整体标准库。


  • 稽核规则智能匹配


首先按字段名称自动对标。其次按业务逻辑(业务口径)自动推荐稽核规则。投入将大幅缩减,而释放的价值不断提升。


  • 核心代码自动生成


设计数据仓库,可通过智能开发引擎提供的工具(如模型开发、自动代码生产以及调试、代码智能优化等功能组件),基于 NLP 进行智能数据治理,设计替代编码,智能编排数据开发,大幅提升设计效率。


  • 数据流自动编排


基于数据血缘自动编排数据开发工作流,不再需要大量人力,只需要做一些轻微调整,大大降低了人工成本。


程佳总结道,借助 AI 提升数据管理效率,实际上是依赖于过去项目中所积累的大量规则和经验,把这些经验沉淀、融入到产品中,再通过用人工智能技术,实现产品更智能。


  1. 抛开技术思维,降低使用门槛,扩充平台使用人群。


百分点基于统一数据模型、内存、Pipeline 的交互式数据融合引擎,明确了生产流水线设计,能够让客户轻松地操作平台,解决业务问题。


以交互式机器学习建模设计为例:传统建模设计,需要进行大量代码编写和少量的数据训练。而机器平台可视化建模,将复杂晦涩的机器学习算法集成到平台,形成可视化的算法组件,按需组合,通过简单的参数配置就可完成机器学习建模过程,极大地降低了使用门槛。而交互式机器学习建模设计的价值点表现在三个方面:第一零代码操作机器学习算法组件,第二自动感知数据流、无需关心管道设计步骤;第三可以可视化参数配置。


最后,传统企业运营数据中台,要将数据越用越好,而不是越管越好。这就要求企业以高质量的数据为基础,充分盘活数据资产,并通过业务驱动数据流通,最终促进前台业务创新。只有数据中台运营得当,才能打造良性的生态闭环。


公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2020-03-08 16:44641

评论

发布
暂无评论
发现更多内容

获奖名单公示|荣耀时刻,「第5届天池全球数据库大赛」决赛圆满收官

阿里云瑶池数据库

数据库 阿里云 阿里云瑶池数据库

生成式 AI,从陌生到使用,仅需两门课

科技热闻

使用代码生成工具快速开发应用-结合后端Web API提供接口和前端页面快速生成,实现通用的业务编码规则管理

快乐非自愿限量之名

Vue 前端 Web 后端 代码生成

宁波银行:在「金融科技」引擎上,沉浸式提效减负

LigaAI

研发管理 IDEA LigaAI 研发协作 提效

开发一个免费的App操作流程

Geek_2305a8

PVP2 ProVideoPlayer2 for Mac(PVP2多屏幕演示投放软件) v2.1.6永久激活版

mac

苹果mac Windows软件 ProVideoPlayer2 多功能演示工具

称重驱动二次开发教程

EquatorCoco

技术 开发 系统 电子称重系统

汇聚数据库创新力量 打造千行万业数据基石,openGauss Summit 2023即将召开

彭飞

KaiwuDB 时序引擎数据去重功能详解

KaiwuDB

KaiwuDB 数据去重

SketchUp Pro 2023 for mac中文激活版(su草图大师 专业的3D建模软件)

影影绰绰一往直前

如何做代币分析:以 LINK 币为例

Footprint Analytics

区块链 加密货币 代币 LINK

低代码开发平台:数字化转型的助推器

高端章鱼哥

软件开发 低代码 数字化

ABAQUS如何进行疲劳分析?

思茂信息

仿真软件 abaqus 有限元分析 有限元技术 结构仿真

首个离散元仿真软件EDEM好学吗?有什么学习技巧?

智造软件

仿真软件 仿真工具 离散元 离散元仿真 仿真分析

每日一题:LeetCode-662. 二叉树最大宽度

半亩房顶

面试 算法 LeetCode 二叉树 BFS

HttpClient5升级笔记--API篇

FunTester

通过小程序实现App灰度测试的好处

Geek_2305a8

低代码可视化工具10分钟完成应用开发

互联网工科生

软件开发 低代码平台 可视化开发 JNPF

探索前端构建可视化应用的思路

这我可不懂

前端开发 低代码 JNPF

“双十一、二” 业务高峰如何扛住?韵达快递选择 TDengine

TDengine

tdengine 时序数据库 韵达

Proxifier for Mac(全局代理客户端)v3.11注册版

影影绰绰一往直前

生成式AI:未来的发展方向是什么?

不在线第一只蜗牛

人工智能 生成式人工智能 技术 优化体系

分享5个程序员必备的终端工具

伤感汤姆布利柏

前端 终端 低代码 JNPF

微信多开 WechatTweak for Mac中文集成版

影影绰绰一往直前

还不知道什么是生成式 AI?两门课带你从了解到使用

科技热闻

AI工程化与低代码:加速人工智能应用开发的新趋势

EquatorCoco

人工智能 AI 低代码 人工智能技术

空投 | Mint Blockchain 将于 2024 年 1 月 10 号启动 Mint Genesis NFT 空投活动

NFT Research

blockchain NFT\ 空投

【第七在线】商品计划对于服装企业的重要性

第七在线

Principle for Mac(交互式UI原型设计神器)v6.33中文激活版

影影绰绰一往直前

JetBrains pycharm pro 2023 for mac v2023.3.2中文激活版

影影绰绰一往直前

iStat Menus for mac(mac系统状态监控工具)v6.73 (1230)中文版

影影绰绰一往直前

百分点AI讲堂|程佳:AI+时代的数据中台设计与实践_文化 & 方法_百分点科技技术团队_InfoQ精选文章