写点什么

百分点 AI 讲堂|程佳:AI+ 时代的数据中台设计与实践

  • 2020-03-08
  • 本文字数:2210 字

    阅读完需:约 7 分钟

百分点AI讲堂|程佳:AI+时代的数据中台设计与实践


百分点产品副总监 程佳

一 百分点数据中台长什么样

作为百分点的产品副总监,程佳多年来都在面向传统企业进行 To B 级的大数据技术平台、数据资产管理平台,以及与 AI 相关产品的规划和设计。


对于数据中台,她谈到,数据中台是集数据采集、融合、治理、组织管理和智能分析为一体的平台,但它的实质是一种解决方案而不是产品。数据中台最核心的要点,是使数据能够源源不断地驱动上层业务创新,并且业务创新产生的数据又可以回流到数据中台,进行持续性的数据迭代


而在数据中台中内含的数据资产管理平台的治理体系、生命周期管理,以及 AI 中台等产品,本质上是构建数据中台过程中积累的全链路工具集。通过对这些工具的使用,再结合数据中台实施落地的方法论,就能构建一个完整的数据中台,为企业和客户创造价值。


“这也是我把这些产品定义为工具型产品的原因。而百分点做的,就是在构建数据中台的过程中提供更加智能化的工具,让企业能够更快速地构建数据中台。”程佳总结道。

二 数据中台实施标准路径

万事万物,皆有章法。百分点实施数据中台的“章法”就是“五大体系、十一个步骤”。五大体系即数据接入、数据处理、数据治理、数据组织和数据服务,而十一个步骤则是五大体系的完整运作过程共有十一步。


举例来说,当团队进场做数据中台项目时,首先项目经理要带团队做业务盘点和数据盘点工作,知晓客户业务情况;其次将数据接到大数据平台,做数据勘探、数据治理,了解现有数据的质量。之后梳理数据标准体系,做数据的标准化。接着建设数据仓库,对数据进行加工、整合与归类。归类完成后,基于数据可视的目的,对元数据进行管理,建立数据资源目录。最后完成数据的开放和共享,使数据能够在数据中台中被分析和可视化应用。


程佳笑谈:“这十一步其实都是很底层的工作,可以说是苦活、累活,我们叫搬砖的活。它只是按照数据的角度,对数据做了类别整理和数据目录展现,还没有到释放数据价值的那一步。但是它是必备步骤,没有前面这十一步,就没有后面所有的应用。”

三 用 AI 为传统企业数据中台落地提速

提高数据中台落地效率,最终目的还是把更多的时间用来做真正的价值释放。然而传统企业数据中台的使用用户群繁杂,包括大数据技术团队、数据开发团队、商业智能团队和可视化团队等。即使有数据中台标准架构的方法论、完整的团队,也并不意味着做传统企业数据中台的困境已经消失。


程佳从产品层面,总结了构建传统企业数据中台面临的三个困境:


  • 业务杂。各业务版块关系松散,各自为战,缺乏统一管理标准。客户商业模式各不相同,业务、技术解决方难。

  • 组织重。组织结构复杂,业务、技术部门的融合、协同能力不够。

  • 技术难。大数据技术门槛高,人才储备不足。


面对这些困境,程佳结合多年数据平台设计与实施经验,提出在做数据中台的产品设计时,应该更多地去想如何结合百分点“五大体系、十一个步骤”的方法论,让这一方法论的实现更简单、智能、敏捷。基于此,她提出:


  1. 将工具组件化,积木式组合快速扩充平台能力。


数据中台内含的基础服务、数据管理服务,甚至某些应用服务、前台可视化服务全部可以实现组件化。比如企业要求对某些核心数据做数据质量稽核,就可把基础服务中的任务执行引擎、认证、公共配置等完成一个质量稽核平台,通过整体服务组装成中台。


以组件的形式搭建数据中台,一方面可以保证高度的灵活、低度的耦合,组件可拆可合,同时还具备了强大的兼容性。


  1. 借助 AI 提升数据管理效率,实现数据资产管理智能化。


数据中台实施标准路径的十一个步骤缺一不可,所以就会面临全域数据整合后,无法界定具体做哪些数据或核心数据过多的问题。而借助 AI,可以使这十一步更优化、智能和敏捷。


  • 智能定义数据标准


数据治理依赖于统一标准。百分点将国标、行标结合企业实际情况,加速数据标准落地,形成百分点整体标准库。


  • 稽核规则智能匹配


首先按字段名称自动对标。其次按业务逻辑(业务口径)自动推荐稽核规则。投入将大幅缩减,而释放的价值不断提升。


  • 核心代码自动生成


设计数据仓库,可通过智能开发引擎提供的工具(如模型开发、自动代码生产以及调试、代码智能优化等功能组件),基于 NLP 进行智能数据治理,设计替代编码,智能编排数据开发,大幅提升设计效率。


  • 数据流自动编排


基于数据血缘自动编排数据开发工作流,不再需要大量人力,只需要做一些轻微调整,大大降低了人工成本。


程佳总结道,借助 AI 提升数据管理效率,实际上是依赖于过去项目中所积累的大量规则和经验,把这些经验沉淀、融入到产品中,再通过用人工智能技术,实现产品更智能。


  1. 抛开技术思维,降低使用门槛,扩充平台使用人群。


百分点基于统一数据模型、内存、Pipeline 的交互式数据融合引擎,明确了生产流水线设计,能够让客户轻松地操作平台,解决业务问题。


以交互式机器学习建模设计为例:传统建模设计,需要进行大量代码编写和少量的数据训练。而机器平台可视化建模,将复杂晦涩的机器学习算法集成到平台,形成可视化的算法组件,按需组合,通过简单的参数配置就可完成机器学习建模过程,极大地降低了使用门槛。而交互式机器学习建模设计的价值点表现在三个方面:第一零代码操作机器学习算法组件,第二自动感知数据流、无需关心管道设计步骤;第三可以可视化参数配置。


最后,传统企业运营数据中台,要将数据越用越好,而不是越管越好。这就要求企业以高质量的数据为基础,充分盘活数据资产,并通过业务驱动数据流通,最终促进前台业务创新。只有数据中台运营得当,才能打造良性的生态闭环。


2020-03-08 16:441190

评论

发布
暂无评论
发现更多内容

Flink 流批一体平台 StreamX 1.2.1 正式发布

ApacheStreamPark

spark FlinkSQL 流批一体 Flink 平台 一站式平台

从 Gitee 到极狐GitLab 的迁移指南

极狐GitLab

迁移 gitee 极狐GitLab

Android C++系列:JNI中的Handler--ALooper

轻口味

c++ android jni 1月月更

品高股份加入,龙蜥社区迎来又一家云计算厂商

OpenAnolis小助手

Linux 开源

网易Go语言通用开发框架-Ngo开源啦

月读

golang Go 语言 开源治理 开源中国

CWE视图层级关系解析:节点关系查询

华为云开发者联盟

软件开发 cwe 软件缺陷 CWE视图层级关系 节点关系

企业微信业务架构分析

Geek_1b4338

#架构实战营

做了这么多年架构师,我终于理解了什么是架构设计

博文视点Broadview

多方计算时,每次结果竟然都存在着巨大隐患,此文告诉你可以这样解决!

华为云开发者联盟

安全 多方计算 数据保护 华为云tics服务 差分隐私算法

请求管理 | 洞态 IAST 在好大夫 SDL 中的最佳实践

火线安全

信息安全 SDL DevSecOps

OpenCloudOS开源操作系统社区迎来首个正式版本

科技热闻

凡泰极客荣获2021 InfoQ“最佳技术产品营销奖”

FinClip

InfoQ

征集用户| 填写 2022 Apache Pulsar 用户调查问卷,抽取丰厚礼品

Apache Pulsar

开源 云原生 中间件 Apache Pulsar 社区

面试官太难伺候?一个try-catch问出这么多花样

阿Q说代码

效率 字节码指令 1月月更 try-catch finally-return

把复杂交给我们,把简单还给你丨TiVP 让 SQL 执行计划可视化

PingCAP

投票开始 | 和你一起见证龙蜥社区年度优秀开发者的诞生

OpenAnolis小助手

开源 开发者 活动 社群 比赛

华为云FusionInsight连续三次获得第一 加速释放数据要素价值

数据湖洞见

大数据 FusionInsight 华为云

小程序开发中使用 JS

Speedoooo

拍乐云发布互动白板2.0,首创超高清文档演示和滚动浏览

拍乐云Pano

WebRTC RTC opengl

2022年1月国产数据库排行榜:TiDB霸榜两年势头不减,openGauss与OceanBase分数大涨

墨天轮

数据库 opengauss TiDB 国产数据库

模块一作业

Geek_ec866b

架构实战营

使用 Lambda 表达式实现超强的排序功能

CRMEB

告警关联中的频繁项集挖掘问题

云智慧AIOps社区

算法 智能运维 智能告警 人工智能「 云智慧

重新学架构之微信业务与学生管理系统

陈华英

「架构实战营」

鸿蒙轻内核源码分析:虚拟文件系统VFS

华为云开发者联盟

鸿蒙 文件系统 鸿蒙轻内核源码 虚拟文件系统VFS 虚拟文件系统

深度评测丨GaussDB(for Redis)大Key操作的影响

华为云开发者联盟

redis 运维 GaussDB(for Redis) 大Key KV查询

专访深职院XR专家 | 实时云渲染赋能虚拟仿真实训,打造5G+XR智慧教育平台

3DCAT实时渲染

教育 XR VR/AR 云渲染 元宇宙

面试突击19:为什么ConcurrentHashMap不允许插入null值?

王磊

V7.1:新字段“嵌入”,实现自定义元素交互

明道云

Hive底层数据存储格式详解

五分钟学大数据

hive 1月月更

Hive SQL语句的正确执行顺序

五分钟学大数据

1月月更

百分点AI讲堂|程佳:AI+时代的数据中台设计与实践_文化 & 方法_百分点科技技术团队_InfoQ精选文章