InfoQ Geekathon 大模型技术应用创新大赛 了解详情
写点什么

数据中台是“一把手”工程,动组织肯定会有矛盾

  • 2019-09-05
  • 本文字数:2887 字

    阅读完需:约 9 分钟

数据中台是“一把手”工程,动组织肯定会有矛盾

数据中台强调的是一种复用能力。很多企业的愿景都是“将数据用起来”,这也是数据平台类型企业基础设施的定位目标,如果再加上一些复用方法论和完善的运营机制,那么就可以认为企业在建设“数据中台”。使用数据中台最明显的效果就是提升开发效率,使用封装好的工具平台,降低开发难度,数据分析的速度会大大提高。 那么,企业建设数据中台需要如何调整组织架构?数据中台团队的人员构成是什么样子?本文,InfoQ 对百分点大数据平台负责人贾喜顺进行了独家采访,了解数据中台建设背后的组织架构调整问题。


数据中台是“一把手”工程

当中台具体化为数据中台时,应该如何定义呢?此前,InfoQ 曾就这一话题采访了数家企业,最终表明:一个完整的数据中台至少应该包含三层,即大数据计算平台、数据中台、数据应用前台。中台的定位是用技术链接计算平台的数据处理能力,用数据链接应用前台的数据应用能力。因此,中台不但要将很复杂的大数据处理技术(流计算、批量计算、实时采集、离线采集、机器学习)封装起来,形成计算平台;同时,进入中台的数据都需按照规范的建模方法论将数据形成主题域模型、形成标签模型或者算法模型。这些数据模型则是数据中台的核心资产。


企业要想建设数据中台,在贾喜顺看来,这件事情至少需要 CIO 或者 CTO 层面推动。他补充道,数据中台是“一把手”工程,需要从上到下进行。中台是战略层面的事情而不是战术层面,自下向上推动几乎没有可能,比如涉及标准统一等。


具体来说,数据中台是一个集数据采集、融合、治理、组织管理、智能分析为一体,将数据以服务方式提供给前台应用,以提升业务运行效率、持续促进业务创新为目标的整体平台。从下而上往往只能看到其中一个点,难免会以偏概全,毕竟大部分员工很难站在一定的高度去做一个”看十年、做一年“的规划,特别是当一件事和眼前的 KPI 难以达成平衡时,中台的工作会受到各个方面的挑战。因此,高层的坚定支持是中台战略的第一必要条件。

数据中台组织架构调整

当企业高层决定建设数据中台后,下一步就要考虑中台团队的人员组成以及整个团队在组织架构中的位置。对于是否要进行大的组织架构调整,贾喜顺表示,首先,这要看企业的业务复杂程度。类似阿里巴巴、京东等大厂需要通过组织架构调整来保障战略顺利推进,但规模相对较小的企业可能没有必要进行组织架构调整;其次,这取决于企业决策者对数据中台战略的态度,是否将其放到整个公司的战略高度,类似阿里巴巴、京东等大厂已经将数据中台作为重要战略,陆续进行了组织架构变更。


如果企业在搭建数据中台后进行了架构调整,贾喜顺认为,这肯定会对中台落地提供更大保障。这是因为,中台涉及各业务系统数据汇集、治理、标准和推广,这些都需要从组织层面提供保障。百分点认为,要发挥数据中台的最大价值,需要建设完善的数据治理体系,即将分散、多样化的核心数据通过数据治理技术手段和产品工具进行优化,形成企业内的数据管理体系,并结合企业组织结构,形成数据管控执行体系,在企业内部持续运行、提升挖掘数据的应用价值。


通过长期实践,百分点总结了数据治理体系包含的四个部分,即组织体系、管理体系、执行体系、技术体系。


  • 组织体系是指从领导层自上而下推动数据治理,明确人员组织和责任分工;

  • 管理体系是指,制定针对数据标准、数据模型的生成、变更、维护和删除等过程进行规范的流程管理;

  • 执行体系是指,要促进所有人员遵照规范的管理流程,运用数据治理工具和技术手段,持续保障良好的数据质量;

  • 技术体系是指,通过数据标准、数据质量、元数据管理、主数据管理等技术和工具,及时发现、解决及监控预防系统的数据问题。


数据智能类厂商一般只能做到技术体系的梳理,其他三个部分还需要企业内部进行完善,这其中包括确定中台团队人选并对垂直业务线进行变更。


中台团队人员构成


通常情况下,中台团队的人员会从企业内部各垂直业务线进行人才筛选,在组织架构调整或者成立中台团队时,会有一部分人从垂直业务线剥离出来,这是因为企业内部的人更了解技术,会比外部招聘的人更容易进入状态。当然,贾喜顺表示,整个过程主要取决于中台团队一把手的想法。


不过,对于传统企业,其内部更偏管理,数据中台团队建设更多需要借助外部力量,比如搭建数据中台的企业,然后在企业内部辅助一些团队人员进行支撑。

垂直业务线调整

对各垂直业务线而言,由于中台团队抽调了部分人才,垂直业务线的人员很大可能会缩减。中台是把以往企业各部门做的同样的事情进行集中,其中就有部分人员要被调整到其他部门,比如偏业务分析类工作,较偏底层的技术人员在垂直业务领域可能就不需要了。


贾喜顺表示,人员结构也会有变化,底层技术、研发人员会缩减,在实践数据中台的垂直业务线团队更偏重面向业务的应用产品研发人员和业务分析人员,调整后的团队与数据中台团队的人员协作之间可能还存在一定磨合期。以前的模式是垂直部门从上到下打通业务流程,现在要进行跨部门沟通,与数据中台团队进行合作,这就需要互相进行沟通协作,难免需要一段时间磨合,业务边界同样也需要磨合。


数据中台提供的共性能力是基于多业务数据融合后的数据服务能力,如果是共性需要,可以承接在数据中台上统一提供,如果是为了满足个性化需求,从数据中台角度看,除了提供数据层面的能力(DaaS),还可以提供 PaaS 层能力,比如百分点已经把数据中台里面的一些产品和技术以多租户的形式提供给垂直部门,提供非常个性化的能力,业务线可以基于数据中台加工的基础数据上,进一步做二次开发。


在架构调整的过程中,贾喜顺坦言肯定会遇到矛盾和冲突,任何组织架构调整都会涉及矛盾和冲突,尤其是这种集中式的组织结构变更。一方面,这种调整会把责任和权限聚集到一起,涉及组织管理的权力缩减问题;另一方面,业务边界的划分上需要进行磨合,要理清中台、前台的边界在哪里,如果边界不确定,就会涉及很多矛盾冲突。但是,有些边界又很难界定,业务划分不是很清楚,比如基于数据中台出指标体系,统计访问业务的 PV、UV 等关键指标,不同部门的统计口径不同,一旦通过中台定义,很多指标都需要进行调整。类似的,企业内部可能有成千上万的指标需要重新划分边界,确定哪些指标体系由中台提供,哪些由前台做,很多情况下需要一事一议,不是那么容易划分清楚的。

结束语

过去,企业的数据量少,建设数据烟囱没有问题。随着数据越来越多,假如一个企业有数十个甚至上百个应用,就会有有明显的重复建设和资源浪费,甚至更严重的是因建设者不同而造成口径标准不一致。另一方面,当数据量较为庞大时,增删改查也会变得非常缓慢。“数据中台”就这样随需而生,虽然很多企业对建设数据中台来打破数据壁垒抱有很大希望,但采访最后,贾喜顺也提醒道,建设数据中台是个长期过程,不是三个月或者半年就能出成效的,决策者需要在理念上进行转变。


嘉宾介绍:


贾喜顺,长期专注于数据仓库、数据中心和大数据平台建设,先后任职东方国信、搜狐畅游等企业,现为百分点大数据平台负责人,负责底层平台研发及企业级服务。


相关文章:


《中台禁区:为什么最关键的组织架构却鲜少人谈?》


《网易杭研中台实践:建中台有可行方法论吗?》


《搞中台要动组织架构,怎么动?》


活动推荐:

2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。

2019-09-05 08:467261
用户头像
赵钰莹 InfoQ 主编

发布了 846 篇内容, 共 558.6 次阅读, 收获喜欢 2639 次。

关注

评论

发布
暂无评论
发现更多内容

SQL 嵌套 N 层太长太难写怎么办?

王磊

如何打造一个“无需激励”自运转的技术团队?

石云升

极客时间 复盘 激励 1月月更 技术领导力实战笔记

干货 | 企业监控系统体系化建设思路

嘉为蓝鲸

自动化运维 嘉为蓝鲸 企业监控系统

WeOps上新啦 | WeOpsV3.14拓展云平台能力,支持自动发现和监控告警

嘉为蓝鲸

自动化运维 weops 嘉为蓝鲸

还在用Excel和SQL?火山引擎VeDI这款产品帮你更快处理数据

字节跳动数据平台

大数据 数据分析 企业 数据看板

揭开华为云CodeArts TestPlan启发式测试设计神秘面纱!

华为云开发者联盟

云计算 后端 华为云 企业号 1 月 PK 榜

聚焦技术与体验极致提升,阿里云视频云连续5年领跑!

阿里云视频云

阿里云 IDC 视频云

什么是AutodeskMaya?为什么要学习它?

Finovy Cloud

3DMAX maya

如何通过C#和VB.NET合并Excel文档

Geek_249eec

C# Excel VB.NET

NFTScan 与 SeeDAO 孵化器达成战略合作,为开发者提供专业的 NFT 数据服务!

NFT Research

NFT

昆仑万维深耕AIGC领域 昆仑天工助力内容创作者创造无限可能

Geek_2d6073

嘉为蓝鲸研运一体化解决方案荣获信通院XOps领域年度明星解决方案

嘉为蓝鲸

自动化运维 嘉为蓝鲸

叮咚~,这份春节前突击检查应对指南请收好!

嘉为蓝鲸

自动化运维 weops 嘉为蓝鲸

Svelte框架实现表格协同文档

葡萄城技术团队

图像增强及运算:局部直方图均衡化和自动色彩均衡化处理

华为云开发者联盟

Python 人工智能 华为云 企业号 1 月 PK 榜

​洞悉获客之道,林肯汽车开展高端社区精准营销俘获消费者芳心

联营汇聚

声网许振明:RTC 场景 UHD 视频应用和探索

声网

前端 音视频 RTC

证券服务应用评测系列:海通e海通财发布9.0版本,探索证券APP持续提升用户体验

易观分析

App 证券

如何训练开发者记忆能力

SEAL安全

开发者 实用技能 记忆

使用 YonBuilder 进行报表分析 - 扩展篇

YonBuilder低代码开发平台

实力领跑 | 旺链科技入选《2022中国区块链技术创新典型企业名录》

旺链科技

区块链 区块链技术 产业区块链

如何对小程序进行更高效的管理

Onegun

小程序 微信小程序 小程序管理平台

使用MTK迁移Mysql源库后主键自增列导致数据无法插入问题

华为云开发者联盟

数据库 后端 华为云 企业号 1 月 PK 榜

【案例分享】如何利用京东云建设高可用业务架构

京东科技开发者

云计算 架构 高可用架构 后端、 企业号 1 月 PK 榜

2022Q4消费级AR眼镜市场季度分析:雷鸟创新领跑,华为强势入局

易观分析

市场 消费 AR眼镜

深度 | 新兴软件研发范式崛起,云计算全面走向 Serverless 化

阿里巴巴云原生

阿里云 Serverless 云原生

《PyTorch 深度学习实战》学习笔记

IT蜗壳-Tango

Python PyTorch

英特尔CEO帕特·基辛格:五大“超级技术力量”,推动人类社会发展

科技之家

标准升级 |《企业数字化成熟度模型IOMM标准》(企业整体视角)发布

信通院IOMM数字化转型团队

数字化转型 IOMM ICT深度观察

免费下载 | 2023 中国技术成熟度评估曲线发布,共看六大发展趋势

博睿数据

可观测性 智能运维 博睿数据 权威报告

云原生安全系列 5:ETCD 安全加固

HummerCloud

etcd Kubernetes, 云原生, eBPF

  • 扫码添加小助手
    领取最新资料包
数据中台是“一把手”工程,动组织肯定会有矛盾_文化 & 方法_赵钰莹_InfoQ精选文章