2020 Google开发者大会重磅开幕 了解详情

大数据的下一站:数据中台

2018 年 9 月 17 日

伴随着移动互联网和物联网的发展,大数据概念开始产生,但并不是所有的数据都能称为大数据,IT 调研与咨询服务公司 Gartner 对“大数据”的定义是:需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据行业发展现状

根据中国信通院发布的中国大数据发展调查报告:2017 年中国大数据总体规模为 4700 亿元人民币,同比增长 30%,2017 年大数据核心产业规模为 236 亿元人民币,增速达到 40.5%,预计 2018-2020 年增速保持在 30% 以上。

在大数据应用上,接近 2/3 的企业已经成立相关数据分析部门,企业对数据分析的重视程度进一步提高,其中应用大数据实现了智能决策的企业占比最高,达到了 55.2%,其次,46.6% 的企业表示应用大数据后提升了运营效果,35.9% 的企业应用大数据后能够更好地管理风险。

大数据得到快速发展的一个重要原因是智能手机的普及,用户行为被有效记录下来,全球数据量开始呈现爆发性增长,目前,大数据的来源主要包括:

  • 移动设备的传感器收集了大量用户的行为数据;
  • 电子地图产生大量的用户轨迹数据,揭示了人们的流动规律和生活习惯;
  • 电商应用带来了网上交易数据,包括购买喜好、支付渠道、物流运输等。

在技术层面上来说,数据采集与传输、数据存储与管理、计算处理、查询与分析和可视化展现构成数据分析生态结构,近几年,相应技术层级的企业都如雨后春笋般涌现。而目前,数据体量、产业规模以及云计算高速发展所推动的基础设施成本都已不再是问题,大数据能否创造真实的商业价值和回报是大数据企业真正关心的核心问题。

开放数据是合作的基础

TalkingData 创始人兼首席执行官崔晓波认为,互联网公司之间的战役已经结束了。所有企业主战场不在线上而在线下,不管是互联网巨头还是产业巨头都在思考如何利用互联网、数据和相关技术的能力改变线下产业。而且,选择合作伙伴应该遵循一个原则:愿意真的开放数据,愿意给实体产业赋能

目前,中国已进入数据时代,企业核心竞争力是数据,不管是数据中台还是数据平台,提供的是一个核心能力,基于这一核心能力需要和别人互利共赢。简单说就是如何管理渠道、管理合作伙伴,这是中国企业首先要过的一关。第二才是如何把这个东西做大,其后才是生态环节。

大数据需要合法连接

数据的收集一直被人们担心是否侵犯了个人隐私,对此,崔晓波认为美国对信息隐私主要采取普通法保护的模式,由法院最终确定哪些行为构成侵犯隐私权。中国的个人信息保护制度才刚刚建立,只有几部法律分别界定了个人信息保护的内容,对如何保护个人信息还没有统一的说法,所以,需要结合我国的国情形成我们特有的个人信息保护理论和个人信息保护制度。

对企业而言,他们应该考虑数据如何做到安全合法连接,国家鼓励数据互联互通,政府部门之间数据也需要互联互通,但是由于规则不清楚,大多公司都不敢去做。所以企业需要摸清合规的界限在哪里,做到合法连接;数据连接、关联之后,再提供类似于安全沙箱的环境,将数据在里面做整合,来保证应用、建模时的数据安全。

大数据需要沉淀为产品

虽然,在基础科研方面,中国跟美国还有一些距离,但在大数据应用市场上,中国的应用和需求是比较强劲的,因为中国企业更关心应用和落地,解决应用才能给客户创造价值。

过去,所有大数据企业都在做项目,并没有更多资源把能力沉淀成产品和平台。比如很多可共用的数据服务没有服务化、产品化,很多产品总是做重复的动作。

今年,数据中台成为大数据行业的热门概念,它最先是从阿里引出的,是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用的,它是企业业务和数据的沉淀,其不仅能降低重复建设、减少烟囱式协作的成本,也是差异化竞争优势所在。

在不久前举办的 TalkingData T11 数据智能峰会上,红杉中国专家合伙人车品觉先生指出,数据中台把数据与数据的技术,再与整个人才架构或公司架构结合以后,能孵化出更多的创新出来,形成创新的前端。

未来,基于数据时代,可能有很多公司平台出现。现在几大互联网巨头都在做自己的平台,不过更多是为企业自身服务。但创业公司由于体量比较小,既缺少客户,也缺乏聚合数据的能力,这就需要数据中台提供赋能。如何让服务头部企业探索出来的能力和方法,更好地去赋能整个产业链中的中小企业,是未来几年着力探索的工作。

崔晓波认为数据中台需要具备数据管理、数据工程和数据科学的能力。现在不同的数据中台有很多,有的企业把数据中台做成了软件中台,堆砌工具,这往往是 IT 部门主导的。但是所有数据中台的核心应该是数据,最核心的思想是数据如何共享,所以数据中台是否成功的唯一检验标准就是是否有足够的共享能力。

2018 年 9 月 17 日 01:53 2703
用户头像

发布了 83 篇内容, 共 41.1 次阅读, 收获喜欢 182 次。

关注

评论

发布
暂无评论
发现更多内容

区块链技术大显身手,仅用20分钟就打完一场官司!

CECBC区块链专委会

CECBC 区块链技术 数字版权 存证

Kafka系列9:面试题是否有必要深入了解其背后的原理?我觉得应该刨根究底(上)

z小赵

大数据 kafka 实时计算

【openlayers】在vue中使用ol

学习委员

JavaScript html Vue 地图 openlayers

Element-UI实战系列:Table+Pagination组件实现已选和全选功能

brave heart

Vue 前端 Element

愚蠢写作术(1):怎么让你的标题被读者忽视

史方远

个人成长 写作

工厂模式(四)泛型工厂之MyBatis Mapper代理

LSJ

Java 设计模式 泛型 工厂注册中心

游戏夜读 | 关于构图的困难

game1night

John 易筋 ARTS打卡Week 02

John(易筋)

ARTS 打卡计划 ARTS活动 arts

MAC OS 下 HomeBrew 使用

耳东

macos brew homebrew

如何用CSS选择符(数字开头) 杀死队友

学习委员

JavaScript html css3 Web 前端鬼画符

ARTS 打卡 WEEK2

编程之心

ARTS 打卡计划

使用Kotlin语言初始化数组

mengxn

数组 kotlin 初始化

ARTS(2020-05-25/2020-05-31)

天行者

正确阅读

ARTS week2

紫枫

ARTS 打卡计划

做PO难,难于上青天

刘华Kenneth

敏捷 产品经理 决策 PO

写博客的那些事

shengjk1

1 ARTS 2020-05-31

3.141516

LeetCode

ARTS打卡Week 02

teoking

objective-c LeetCode WebRTC

ARTS week 2

刘昱

【ARTS打卡】Week01

Rex

学习笔记

Apache DolphinScheduler新特性与Roadmap路线

海豚调度

数据中台 大数据任务调度 工作流调度 海豚调度 数据湖调度

转行程序员浅谈进程间的socket通信

WB

Linux socket 转行程序员

工作 vs 生活

shengjk1

你会写测试用例吗

鱼贩

ARTS Week1

姜海天

时代在变,产品运营能力很重要

夜来妖

程序员人生 程序人生 产品经理 产品推荐 程序媛

如何使用 Apache CXF 快速实现一个 WebService

Rayjun

Java WebService CXF

ARTS打卡第一周5.25-5.31

我笔盒呢

钢铁侠马斯克之仰望星空

池建强

创业 马斯克 Space X

RocketMQ - 高可用设计

Java收录阁

RocketMQ

不吹不黑!GitHub 上帮助人们学习编码的 12 个资源,错过血亏...

JackTian

GitHub 程序员 编码 开源项目 学习资源

2020中国技术力量年度榜单盛典

2020中国技术力量年度榜单盛典

大数据的下一站:数据中台-InfoQ