最新发布《数智时代的AI人才粮仓模型解读白皮书(2024版)》,立即领取! 了解详情
写点什么

百分点 AI 讲堂|程佳:AI+ 时代的数据中台设计与实践

  • 2020-03-08
  • 本文字数:2210 字

    阅读完需:约 7 分钟

百分点AI讲堂|程佳:AI+时代的数据中台设计与实践


百分点产品副总监 程佳

一 百分点数据中台长什么样

作为百分点的产品副总监,程佳多年来都在面向传统企业进行 To B 级的大数据技术平台、数据资产管理平台,以及与 AI 相关产品的规划和设计。


对于数据中台,她谈到,数据中台是集数据采集、融合、治理、组织管理和智能分析为一体的平台,但它的实质是一种解决方案而不是产品。数据中台最核心的要点,是使数据能够源源不断地驱动上层业务创新,并且业务创新产生的数据又可以回流到数据中台,进行持续性的数据迭代


而在数据中台中内含的数据资产管理平台的治理体系、生命周期管理,以及 AI 中台等产品,本质上是构建数据中台过程中积累的全链路工具集。通过对这些工具的使用,再结合数据中台实施落地的方法论,就能构建一个完整的数据中台,为企业和客户创造价值。


“这也是我把这些产品定义为工具型产品的原因。而百分点做的,就是在构建数据中台的过程中提供更加智能化的工具,让企业能够更快速地构建数据中台。”程佳总结道。

二 数据中台实施标准路径

万事万物,皆有章法。百分点实施数据中台的“章法”就是“五大体系、十一个步骤”。五大体系即数据接入、数据处理、数据治理、数据组织和数据服务,而十一个步骤则是五大体系的完整运作过程共有十一步。


举例来说,当团队进场做数据中台项目时,首先项目经理要带团队做业务盘点和数据盘点工作,知晓客户业务情况;其次将数据接到大数据平台,做数据勘探、数据治理,了解现有数据的质量。之后梳理数据标准体系,做数据的标准化。接着建设数据仓库,对数据进行加工、整合与归类。归类完成后,基于数据可视的目的,对元数据进行管理,建立数据资源目录。最后完成数据的开放和共享,使数据能够在数据中台中被分析和可视化应用。


程佳笑谈:“这十一步其实都是很底层的工作,可以说是苦活、累活,我们叫搬砖的活。它只是按照数据的角度,对数据做了类别整理和数据目录展现,还没有到释放数据价值的那一步。但是它是必备步骤,没有前面这十一步,就没有后面所有的应用。”

三 用 AI 为传统企业数据中台落地提速

提高数据中台落地效率,最终目的还是把更多的时间用来做真正的价值释放。然而传统企业数据中台的使用用户群繁杂,包括大数据技术团队、数据开发团队、商业智能团队和可视化团队等。即使有数据中台标准架构的方法论、完整的团队,也并不意味着做传统企业数据中台的困境已经消失。


程佳从产品层面,总结了构建传统企业数据中台面临的三个困境:


  • 业务杂。各业务版块关系松散,各自为战,缺乏统一管理标准。客户商业模式各不相同,业务、技术解决方难。

  • 组织重。组织结构复杂,业务、技术部门的融合、协同能力不够。

  • 技术难。大数据技术门槛高,人才储备不足。


面对这些困境,程佳结合多年数据平台设计与实施经验,提出在做数据中台的产品设计时,应该更多地去想如何结合百分点“五大体系、十一个步骤”的方法论,让这一方法论的实现更简单、智能、敏捷。基于此,她提出:


  1. 将工具组件化,积木式组合快速扩充平台能力。


数据中台内含的基础服务、数据管理服务,甚至某些应用服务、前台可视化服务全部可以实现组件化。比如企业要求对某些核心数据做数据质量稽核,就可把基础服务中的任务执行引擎、认证、公共配置等完成一个质量稽核平台,通过整体服务组装成中台。


以组件的形式搭建数据中台,一方面可以保证高度的灵活、低度的耦合,组件可拆可合,同时还具备了强大的兼容性。


  1. 借助 AI 提升数据管理效率,实现数据资产管理智能化。


数据中台实施标准路径的十一个步骤缺一不可,所以就会面临全域数据整合后,无法界定具体做哪些数据或核心数据过多的问题。而借助 AI,可以使这十一步更优化、智能和敏捷。


  • 智能定义数据标准


数据治理依赖于统一标准。百分点将国标、行标结合企业实际情况,加速数据标准落地,形成百分点整体标准库。


  • 稽核规则智能匹配


首先按字段名称自动对标。其次按业务逻辑(业务口径)自动推荐稽核规则。投入将大幅缩减,而释放的价值不断提升。


  • 核心代码自动生成


设计数据仓库,可通过智能开发引擎提供的工具(如模型开发、自动代码生产以及调试、代码智能优化等功能组件),基于 NLP 进行智能数据治理,设计替代编码,智能编排数据开发,大幅提升设计效率。


  • 数据流自动编排


基于数据血缘自动编排数据开发工作流,不再需要大量人力,只需要做一些轻微调整,大大降低了人工成本。


程佳总结道,借助 AI 提升数据管理效率,实际上是依赖于过去项目中所积累的大量规则和经验,把这些经验沉淀、融入到产品中,再通过用人工智能技术,实现产品更智能。


  1. 抛开技术思维,降低使用门槛,扩充平台使用人群。


百分点基于统一数据模型、内存、Pipeline 的交互式数据融合引擎,明确了生产流水线设计,能够让客户轻松地操作平台,解决业务问题。


以交互式机器学习建模设计为例:传统建模设计,需要进行大量代码编写和少量的数据训练。而机器平台可视化建模,将复杂晦涩的机器学习算法集成到平台,形成可视化的算法组件,按需组合,通过简单的参数配置就可完成机器学习建模过程,极大地降低了使用门槛。而交互式机器学习建模设计的价值点表现在三个方面:第一零代码操作机器学习算法组件,第二自动感知数据流、无需关心管道设计步骤;第三可以可视化参数配置。


最后,传统企业运营数据中台,要将数据越用越好,而不是越管越好。这就要求企业以高质量的数据为基础,充分盘活数据资产,并通过业务驱动数据流通,最终促进前台业务创新。只有数据中台运营得当,才能打造良性的生态闭环。


公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2020-03-08 16:44637

评论

发布
暂无评论
发现更多内容

强大的压缩和解压缩工具Keka for Mac v1.3.8中文激活版

影影绰绰一往直前

多功能文本计算器 Soulver 3 for Mac v3.10.3激活版

影影绰绰一往直前

支持M1/M2/M3:Omi NTFS磁盘管理助手下载

Rose

WidsMob AI Retoucher for Mac(AI照片编辑工具) 中文版

Rose

[自研开源] MyData v0.8.0 更新日志

LIEN

开源 数据仓库 数据融合 数据集成 API对接

大量数据如何做分页处理

华为云开发者联盟

开发 数据处理 华为云 华为云开发者联盟 企业号2024年4月PK榜

Mac文件管理器和FTP客户端ForkLift中文破解版 支持M1和mac14系统

Rose

详解Java Chassis 3与Spring Cloud的互操作

华为云开发者联盟

Java 微服务 华为云 华为云开发者联盟 企业号2024年4月PK榜

HostsWard for Mac 2024.1 注册激活版 macOS广告拦截软件

影影绰绰一往直前

WiFi Explorer Pro for mac v3.6.3激活版 WiFi无线网络管理工具

影影绰绰一往直前

【FAQ】HarmonyOS SDK 闭源开放能力 —Push Kit(3)

HMS Core

HarmonyOS

终端SSH工具SecureCRT如何使用? mac SecureCRT使用教程 附SecureCRT永久安装密钥

Rose

【Mac/win永久激活】Acrobat Pro DC 2024直装便携版

Rose

AutoSwitchInput Pro 自动切换输入法专业版for mac 支持M1、M2

Rose

Tipard Video Converter Ultimate for Mac v10.2.60中文版

影影绰绰一往直前

数值计算和科学编程MATLAB R2023b中文版永久安装密钥【Mac/win]】

Rose

油猴Safari浏览器插件 Tampermonkey for Mac中文破解版

Rose

可视化网页设计软件 Blocs for mac v5.2.3激活版

影影绰绰一往直前

低代码:推动新质生产力的引擎

天津汇柏科技有限公司

低代码开发 新质生产力

分享10个HTML小技巧,提高你的编码技能

秃头小帅oi

直播预告 | KaiwuDB 解析器之语义解析

KaiwuDB

数据库 语义分析

新特性速览!Sermant重磅更新,1.4.0 release版本发布

华为云开源

开源 微服务 服务治理 版本更新 sermant

Archicad 27 for Mac v27.2.0激活版:建筑设计新纪元

影影绰绰一往直前

JetBrains CLion 2024 for Mac v2024.1中文激活版

影影绰绰一往直前

面向 NGINX 和 NGINX Plus 的 OpenTracing

NGINX开源社区

ruby OpenTracing Jaeger zipkin NGINX PLUS

AIGC创作活动 | 跟着UP主秋葉一起部署AI视频生成应用!

阿里云大数据AI技术

人工智能 自然语言处理 阿里云

多媒体播放器软件Infuse for Mac v7.7.3免激活版

影影绰绰一往直前

云起无垠创始人沈凯文博士入选《2023胡润U30中国创业先锋》榜

云起无垠

必须要了解的11 个 HTML 技巧

伤感汤姆布利柏

FastRawViewer for mac(Raw查看器)v2.0.8激活版

影影绰绰一往直前

精准高效测试计划,人工智能帮你制定

霍格沃兹测试开发学社

百分点AI讲堂|程佳:AI+时代的数据中台设计与实践_文化 & 方法_百分点科技技术团队_InfoQ精选文章