深入探讨跨端、IoT 动态开发、DevOps等大前端方向热门技术话题,这里直达 了解详情
写点什么

浅谈传统企业的数据治理

  • 2022 年 1 月 28 日
  • 本文字数:6028 字

    阅读完需:约 20 分钟

浅谈传统企业的数据治理

世界论坛宣称,数据作为新的经济资产类别,正在成为一种与能源和材料相提并论的资源,已经关系到了企业未来的生存和发展。我们正在见证着数据从“离线”到“在线”、从“静止”到“流动”,从“封闭”到“开放”。在互联网公司创造了各种“中台”概念后,数据治理也作为一个热词频繁被人提及。

传统企业数据治理的动因


随着国内的数字化不断发展,很多组织已经意识到,他们的数据是一种至关重要的资产,数据信息可以使他们洞察客户、产品和服务,一定程度地帮助他们创新并实现其战略目标。


在很多企业内部,数据团队正逐渐变成一个专业、独立的部门,数据部门的肩上要扛起包括保证数据质量、管理数据架构、提供平台工具与应用等在内的各种数据相关的职责,来支持各方对数据的使用、形成企业的数据资产。作为支撑数字化转型的基础设施,数据治理已经成为数据团队履行数据职责的重要手段。


我们在正式讨论传统企业的数据治理之前,要先厘清一些概念——什么是数据治理,什么是数据管理。数据治理是指在管理数据资产过程中行驶权力和管控,包括计划、监控和实施。数据管理的整体驱动力是确保组织可以从其数据中获取价值。数据治理聚焦于如何制定有关数据决策,以及人员和流程在数据方面的行为方式,而数据管理侧重于数据如何按治理标准进行数据生产、应用。


在了解了数据治理和数据管理的基本概念以后,我们来看看传统企业为什么要做数据治理。传统企业做数据治理有两个基本动机,一个是宏观层面的政策导向,一个是微观层面的业务引领。


  • 2019 年 11 月,党的十九届四中全会在《中共中央关于坚持和完善中特色社会主义制度推进国家治理体系和治理能力现代化若干重大问题的决定》中首次明确数据作为生产要素参与社会分配。

  • 2020 年 3 月发布的《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》中提出,加快培育数据要素市场,推进政府数据开放共享,提升社会数据资源价值,加强数据资源整合和安全保护。

  • 2020 年 5 月发布的《中共中央国务院关于新时代加快完善社会主义市场经济体制的意见》中提出,要加快培育发展数据要素市场,建立数据资源清单管理机制,完善数据权属界定、开放共享、交易流通等标准和措施,发挥社会数据资源价值。推进数字政府建设,加强数据有序共享,依法保护个人信息。


在“十四五”规划发布后,政府渐进明细地为企业数据治理指出了行动路径。国企背景的传统企业在这种大的政策导向下,必然要进行必要的数据治理工作,以满足经营管理要求。


业务方面,随着网络和信息技术的不断普及,传统企业包括工业和制造业产生的数据量正在呈指数级增长。大约每两年翻一番。大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长。这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴。如何高效且安全地管理这些数据,变成一个越来越重要的命题,于是数据治理概念应运而生。

传统企业数据治理的误区


国内早期的数据平台源自头部互联网科技公司,该类型企业通过平台效应催生了大体量的用户规模。为了流量价值最大化,他们往往会通过整合数据,利用数据挖掘算法来绘制用户画像、分析受众行为、建立监控体系,来优化企业运营或管理策略。此类企业由于多年的积累和沉淀,早已具备了必备的基础设施、技术储备及数据管理体系。


随着各企业信息化军备竞赛的不断升级,传统企业也意识到数据以及平台的重要性,于是开始效仿科技公司的模式进行数据平台建设。受各种因素限制,传统企业多以单一视角的技术升级或 IT 采购的形式搭建数据平台。这就导致企业虽然建立了数据平台,但是数据并没有被有效利用起来,绝大多数企业并没有将他们的数据作为一项资产来管理,并从中获得持续价值。


对于传统企业来说,数据平台的建设方式应该有别于互联网科技公司。传统企业建设数据平台要聚焦数据资产化,将数据作为生产要素来管理。初步形成符合企业特性的数据管理体系后,再进行敏捷式的平台建设,并持续从中获取业务价值。

如何将企业数据转化成资产


数据的巨大价值,如今已被大众认可,但是关于数据资产,目前仍存在着诸多争议。数据资产毫无疑问是数字经济下越来越重要的一环。经济学的基本假设是认为资源是有限的,所以人们总是尽可能的去寻找占有更多的资源为己所用,当今的时代,资源已经不仅限于传统范畴,数据慢慢变成资源的新内容,2019 年 10 月,中国官方首次增列数据作为生产要素,提出健全劳动、资本、土地、知识、技术、管理、数据等生产要素由市场评价贡献、按贡献决定报酬的机制。


从经济史的视角来看,资产的属性、范畴、种类、范围都经历过一个不断扩张和深化的过程。很长一段时间,资产都主要表现为“实物资产”的形态,随着工业经济的发展,社会经济复杂性不断上升,又出现了“无形资产”的概念,到了数字时代,我们应该如何将企业数据转化成资产呢?


随着数据、算法的发展,近年开始陆续涌现出了以区块链、加密货币和智能合约为代表的狭义数据交易,以及广义从会计数据资产核算为准则,将企业数据转化成实际资产写入财务报表的估值方式。本文将着重讨论广义数据资产和会计核算、估值相关的研究。

数据的会计核算现状


数据本质上是对物品、服务或经济主题相关信息以电子或非电子的形式呈现,随着信息技术的发展,数据的使用深度和广度逐步拓宽。在现行企业会计准则规范下,数据尚未以资产形式列报,仅在企业价值评估中潜在影响企业估值情况。在现行企业会计准则规范下,具体数据账务处理方式大致分为三种:


  1. 企业内部运营形成的数据,如公司对生产经营或技术参数整理形成的数据,现行企业会计准则尚未设计科目单独进行归集列报,数据形成过程中发生的支出通常根据数据处理部门的性质,分别归集于企业的营业成本、销售费用、管理费用或研发费用中。因此,该部分成本通常依附于员工薪酬、设备折旧、制造费用等体现。

  2. 企业外部购买的专业数据,即企业从专业公司购买特定行业数据资料,如市场分析数据、用户行为偏好数据、广告营销数据等。按现行企业会计准则,该类数据通常当期一次性从利润表中予以扣除。

  3. 企业通过软件抓取的公开数据,即企业通过自身研发设计的软件从公开的数据源中抓取的数据,如公开的政务及金融数据。由于该类数据的权属不明确、自身公允价值难以确定等原因,目前无法单独作为资产列报,其价值无法直接体现在企业价值的估值报告中。


通过这些财务处理方式,我们不难看出,目前我们对于数据的会计核算还处于基于工业生产时代的思维模式,在企业数据资产化的进程中,面临巨大的挑战。先行会计确认与计量方法难以有效满足数据资产的实际需求。

数据资产定价的探索


在数据高速发展的时代,由于数据资产初期不具备实物形态,估值通常类比无形资产进行分析。在资产评估初期,企业价值评估以拥有的房产、设备等实物资产为主。对于效益好、拥有良好信誉、先进专利技术的企业,无形资产的价值影响不可忽视。借用无形资产的评估方法,为基础探索性的为数据资产进行定价:


  • 成本法:资产的价值由产生该无形资产的必要劳动所付出的成本决定,成本法应用时需要重点考虑资产价值与成本的相关程度。对于数据资产来说,可以从数据的生产成本来评估该资产的固定价值。例如,某生产企业,为了保障日常生产工作可以稳定进行,通过工业物联网技术建立了一套指标监控体系,对数据集的动态监控可以反馈或评估生产设备风险情况,在这种情况下的数据资产就可以采用生产该数据集的直接成本、间接成本以及数据带来的机会成本来估价。

  • 收益法:资产的价值由其投入使用后的预期收益能力体现,是基于目标资产预期应用场景,对未来产生的经济收益进行求取现值的一种估值方法。数据和货币一样具有时间价值,例如,当前机器学习算法往往需要大量的数据积累才能训练出有价值的模型,当前积累的数据都是为了实现未来价值的一部分,通过未来有价值数据模型的收益,可以求取当前数据资产的现值。银行以及医疗行业的 AI 模型,目前多数处于数据积累和模型训练阶段,可以通过未来基于海量数据训练金融或医疗模型带来的收益,来评估现有数据的价值。

  • 市场法:市场法是基于相同或相似资产市场可比交易案例的一种估值方法。在取得市场交易价格的基础上,来计算数据资产的市场价值。目前,我国已在贵州等地设立了多个数据交易中心,数据交易估值会随着数据交易中心等探索不断完善。

面向资产化的传统企业数据治理路径


前面说了企业做数据治理的动因、误区,以及以数据资产化的一些探索,下面我们来看一下面向资产化的传统企业应该如何做具体的数据治理工作。目前大部分传统企业对于数据治理的通病是数据质量偏低,数据资产定义不明确,数据为业务赋能无力这几个方面。放到实际业务中的现象就是:


  • 存在大量纸质单据,需要用到该数据时再由人工将线下数据整理成电子表格录入 IT 系统,导致数据质量差,且不容易管理。

  • 企业没有对数据有统一的业务描述及口径定义,导致不同的人使用数据时标准、口径不统一,跨部门人员无法理解数据的真实含义。

  • 过分的投入资源进行 IT 平台建设,但是缺乏数据资产方向的顶层设计,形成一个个数据孤岛,导致数据散乱无法产生实际价值。


传统企业面向资产化的数据治理过程一般是从发现数据开始的。先发现数据,再寻找数据的使用方法,探索数据的价值,最后提供相应的技术支撑,可以从“数据化”、“资产化”、“场景化”三个维度来循矩渐进的进行平台建设。

数据化


传统企业的数据治理应该在规范的制度和流程下,通过统一的数据服务能力,将业务数据有效的采集并管理起来,通过不断的演进和迭代,逐步健全企业的数据治理体系。这个统一数据服务能力包含“采”和“管”两个方面。


业务数据是指和企业劳动力、资源、资本、用户、行为相关的数据。企业数据治理的建设过程,就是一个持续挖掘新数据,精进管理老数据的过程。企业采集到的数据,是未来将形成资产的基础。所以业务数据化迈出的第一步应该是:将线下离线的数据,转移至线上采集。在采集的过程中,我们可以辅佐管控措施来提高填报数据的质量。


把数据管起来,需要建立统一的业务术语表和元数据的模型,比如说我们做某个领域客户画像的时候,可能根据客户信息建一些业务术语描述,做服务数据的时候,可能会根据交易接口做一些元数据,做数据仓库的时候,可能会根据这个数据仓库建立一些主数据。我们管的时候,需要建立整个企业层面的元数据以及跟合作伙伴打交道的元数据,通过统一的业务术语把所有的数据和数据之间的关系统一整合起来。

数据的采集和管理的过程中,我们将会渐渐发现一些数据治理体系中缺失的点,我们在逐步完善这些缺失和不足,最终才能构建出一套属于企业自己的数据治理体系。

资产化


当企业已经采集了很多业务数据,也初步形成了与企业自身文化比较契合的数据治理体系后,将会面临的另一个问题就是如何展示自己的当前的工作成果,如何将已有的数据进行资产化处理。


传统企业的一个通病就是普遍认为数据治理或者大数据相关的工作太复杂了,很难在短期让上级领导看到工作成效,投入了很多人力和财力,业务价值难以体现。所以能否让人“看”到数据治理的成效,是我们做数据治理过程中一个非常重要的手段。“看”的部分既能展现数据治理的效果,也能决定将数据转化成资产的成败。


在数据资产化的阶段,除了传统的数据大屏外,企业还可以充分利用数据门户等相关实践。数据门户既能让领导层面的人可以看到数据的整体情况,也能让员工及合作单位层面了解到企业数据资产的具体情况。另外还可以利用数据门户加强对于数据资产的管理能力,根据预先制定的数据质量管理规范,将已识别的数据资产进行编目,落实到数据门户中。企业对数据进行商业估值时,数据门户是一个了解数据现状极佳的工具,数据门户提供了让人”看“家底的能力,通过自动化的方式找到现在有哪些数据,数据间的映射关系是什么样,最终将业务系统到数据门户之间的流转关系打通。


在将数据转化为资产的过程中,数据交易也是一个可以为企业持续创造价值的路径。当企业对数据资产进行了编目,汇集在门户中,外部企业或者跨组织之间如果需要此类专业数据时,就可以进行数据之间的交易。在数据交易的场景下,可以将现有的数据门户演进成数据交易集市,根据不同的业务需求,将数据资产转化成不同交易主题,通过批量作业服务,实时接口服务、文件传输服务等形式,提供在线、离线等不同方式,进行系统之间的数据交易。


数据的资产转化的过程中,企业将会逐步建立数据流程、落地数据标准、提供基础数据资产服务,使数据具有经济价值的同时还可以增强对数据的管理能力。

场景化


随着企业数据资产化建设的推进,数据价值可能会越来越高,不同垂类的数据需求也会接踵而至。此时,针对于不同场景下的业务需求提取,海量数据中的数据关系提取,有限数据中最大的价值提取,价值最大化的数据的场景应用,将会成为企业面临的挑战。


要想实现“取”,首先要进行场景化业务需求分析,这个过程常常是由公司高层牵头,调集生产、销售、研发、财务、人力等多部门联动协作,站在全公司的整体视角解决场景中的业务问题,做出相应决策并上下协同实施。只有形成自组织的团队,才能推动场景化分析的顺利实施。想要从海量数据中“取”到合适的数据,要建立业务元数据跟技术元数据的匹配,通过业务含义来识别数据,找到语义以及语义的上下文的关系,并且做延伸搜索。


“取”到数据之后,要有效地结合场景”用“起来,有效的场景需求分析会指引我们如何最大价值的利用数据,场景化应用的价值大致体现在内部的管理价值和外部的营销价值两个方面。随着场景化应用的推进,可能数据之间的相互依赖变得越来越复杂,传统的数据治理方式见效太慢,为特定用途的 BI 和数仓而开展的 ETL 工作,复用性和开放性不够。场景化数据治理期望从一类业务场景出发,运用数据治理的方法和工具,对特定数据领域的数据标准、数据架构、数据治理和数据源头展开治理,快速形成支撑一类业务场景数字化应用的数据资产。


除此之外,面向资产化的数据治理还要考虑到监管、合规、数据质量等要求,传统的相对粗粒度的数据支撑的监控报警以及不能满足数据资产场景化的需求,传统运维逐渐的转变为 DevOps,而团队的职能也要从支撑职能向业务化在演进。除了基础的监控报警,还需要更细粒度数据的对系统各种资源的管理、自动的资源分配、以及分布式追踪技术等等。

总结

传统企业的数据治理和互联网科技公司不同,在数字经济时代下,为了快速响应业务需求,提升公司数据资产价值,可以从“采”、“管”、“看”、“取”、“用”五个方面入手,从而健全数据治理体系,增强数据管理能力,加强数据质量控制,提高数据应用能力。


作者介绍


韩陈昊,企业数字化转型架构师,精益敏捷教练,曾在规模超千亿级别的传统企业引入敏捷实践并完成端到端数字化转型。目前韩陈昊是成都新敏捷链科技有限公司的高级咨询师,专注为能源、金融、科技、零售等行业客户提供数字化转型解决方案。


熊节,四川质量发展研究院高级研究员,数字化转型专家,中国敏捷浪潮先驱,曾翻译了《重构》等行业重要著作,《敏捷中国史话》作者,极限编程合作社创始人。

2022 年 1 月 28 日 14:383711

评论

发布
暂无评论
发现更多内容

架构师训练营第 1 期 第 9 周作业

李循律

极客大学架构师训练营

数字货币将使货币政策实施更精准有效

CECBC

数字货币

高速二维码报警定位系统开发,智能报警系统

13530558032

iOS AOP 方案的对比与思考

GrowingIO技术专栏

ios aop

区块链赋能医疗行业,区块链医疗应用场景开发

13530558032

第十周作业

Geek_4c1353

极客大学架构师训练营

Python进阶——如何正确使用魔法方法?(下)

Kaito

Python

《码出高效:Java开发手册》,每一位想要成为优秀开发工程师的程序员必须要看的一本小册!

Java架构之路

Java 程序员 架构 面试 编程语言

乘上这艘“智能体”之舟,即刻前往智慧未来

脑极体

一个隐藏在方法集和方法调用中且易被忽略的小细节

Gopher指北

后端 Go 语言

第九周 性能优化(三)总结

钟杰

极客大学架构师训练营

上周我面了个三年 Javaer,这几个问题都没答出来

yes

面试 RPC HTTP

MySQL选错索引导致的线上慢查询事故

Zhendong

Java MySQL

JVM Metaspace内存溢出排查与总结

Java老k

Java OOM 内存溢出 metaspace

Java踩坑记系列之线程池

Java老k

Java 线程池

字节跳动内部授课课件:附图讲解MySQL底层索引结构算法实现

小Q

Java MySQL 学习 编程 面试

《华为数据之道》读书笔记:序言

方志

数据中台 数字化转型 数据治理

迁移到 Atlassian Data Center 并没有您想象的那么可怕

Atlassian

负载均衡 高可用 Atlassian Jira

一次浪费时间的面试

escray

程序员 面试 面经

五年Java开发经验,裸辞准备半月面试阿里,阿里巴巴却“不讲武德”,居然面了我7轮,历经千辛万苦终于斩获P7及Offer

Java架构之路

Java 程序员 架构 面试 编程语言

架构设计:高并发读取,高并发写入,并发设计规划落地方案思考

互联网应用架构

高并发读,高并发写

数字货币步伐加快,苏州将于双十二推出数字人民币红包测试

CECBC

数字人民币

区块链加持,鉴定溯源双保险,科技赋能茅台老酒成零售数字化标杆

CECBC

区块链 大数据 防伪溯源

字节面试数据结构与算法:B+树的删除和插入,不够详细你打我

小Q

Java MySQL 学习 面试 算法

一位Java程序员在上家公司CRUD了3年,金九银十想要跳槽面试却屡屡碰壁,感觉很迷茫!网友:这是你安逸太久技术能力跟不上了!

Java架构之路

Java 程序员 架构 面试 编程语言

奉劝各位Java工程师都要学习这份阿里内部绝密《百亿级并发系统设计》实战教程,大厂面试官可“不讲武德”!

Java架构之路

Java 程序员 架构 面试 编程语言

新图灵测试背后,智能交互点燃了哪些产业可能性?

脑极体

贼好用,冰河开源了这款精准定时任务和延时队列框架!!

冰河

redis 中间件 消息队列 延时队列 Zset

“新鲜出炉”阿里面试终极指南V3.0,符合一线大厂面试点需求

小Q

Java 学习 编程 架构 面试

甲方日常 55

句子

工作 随笔杂谈 日常

怎么做好一场分享或者培训

fq

金融行业数据库架构实践与运维 | DBTalk 技术公开课第2期

金融行业数据库架构实践与运维 | DBTalk 技术公开课第2期

浅谈传统企业的数据治理_文化 & 方法_韩陈昊_InfoQ精选文章