抖音技术能力大揭密!钜惠大礼、深度体验,尽在火山引擎增长沙龙,就等你来! 立即报名>> 了解详情
写点什么

站在风口上的大数据,究竟被什么拖了后腿?

2019 年 7 月 11 日

站在风口上的大数据,究竟被什么拖了后腿?

当大数据带给世界更多比特,这些实时产生的海量数据成为了一座开采难度巨大的矿山。大家都知道通过这些碎片化的数据能够挖掘出更多价值,但是就目前的整体发展来看,大数据的应用远没有达到预期的效果,其原因有几个:


1 数据的获取难度增加

从早期 PC 端各种类型的 cookie 数据及用户网站浏览、点击、停留等数据,到用户移动端设备相关的型号、位置及应用使用时长、次数、类型等数据,再到应用内的点击、停留、浏览、搜索等数据,数据量虽然越来越大,可获取变得越来越难。


早期,用户对这些所谓的“不敏感数据”并不了解,或着不太在意。但随着各种类型的数据商业模式兴起,一些数据收集方过度、越线收集用户数据,又有人利用这些数据进行过度营销,严重损害了用户体验和信任度。用户的数据保护意识快速提升,而数据收集方也有保护自身数据资产的需求,这就产生了多方面的矛盾,使得大规模的数据收集和应用变得更加困难。


为解决这些问题,应该建立全面的机制和标准,使得数据的获取、加工、存储、应用、共享更加规范和有序,打破数据孤岛困境,共同构建生态健康、持续成长的市场。


2 数据应用与个人隐私的问题没有很好的解决

大数据时代,每个人通过互联网留下了大量的各种类型的数据,综合这些数据信息能够反映出人的行为模式:包括应用兴趣偏好、常去地点、工作及居住地、社交关系、收入水平、消费偏好、品牌偏好等。善用这些数据原本能够更好的为用户服务,比如提供更符合用户偏好的产品及服务,能够有效降低用户的选择时间,甚至规划建设更高效的城市、让生活更便捷。


但是,一方面频繁的操作系统升级和设备更替让用户更加注重数据的安全问题;同时,某些数据收集行为越过了对个人互联网特征数据的红线,数据是否会造成个人隐私的泄露、是否会带来过度的营销、是否有可能被精准的侵入,给用户造成大量的困扰,甚至是经济损失。


为解决数据隐私问题,在对已有法律法规继续进行完善的基础上,也应该有行业规范和行业自律要求,双管齐下,促使数据产业链各方参与者共同打造良好的网络数据空间,增加对用户隐私和数据安全的保护,也通过更加人性化的服务产生数据应用的价值。


3 数据加工处理的速度与数据产生的速度不同步

大数据时代,每人每天产生的数据高达数 GB,围绕社交、金融交易、网络购物、生活记录等各种应用,全世界每天能够产生数 ZB 的数据,这庞大的数据量需要更加庞大的处理能力才能实现有效利用。


但是以目前的计算方法和计算能力,每秒处理的速度远小于数据产生的速度,只能选择小范围的尝试,像 Spark/Hadoop/Flink/Kafka 等广泛应用的计算方法均有待提升。同样的,对于所需的硬件基础设施,目前最快的 CPU/GPU/NPU 其每秒所能提供的计算速度仅达数百 MB/s,也无法更快的提升计算能力。这些都限制了数据处理的快速发展。


鉴于此,应该针对不同类型的数据提供不同的处理算法,比如专门针对常规结构化数据或文本数据、音视频等非结构化数据等的专用计算方法。通过基于各类数据的特点进行并行计算,如结构化数据的小数据、文本数据的数据块数据、音视频的采样压缩数据等,针对每一种数据进行专门的效率提升。同时,在现有计算芯片的基础上增加各种类型的协处理器,有效提升数据计算任务的并行处理能力,提升芯片的利用率。


4 数据应用落地难度增加

虽然我们处在大数据时代,但能够得到有效应用的数据还不足 1/10,而其应用方向大部分仅仅是围绕营销、风控等方面。


这些主要面向市场的应用虽然帮助企业提升了收入,但是越来越多人对这种缺少选择空间的应用充满怀疑,也导致应用水平的下降。而且,这些只看一时、不看长远的应用方式也有可能导致效果适得其反,用户被教育之后就会明显的进行反抗,将会影响到数据的未来应用。


数据应用落地目前显然受到了环境发展及数据孤岛等方面的影响,很多好的想法无法付诸实践。但是可以考虑通过新兴的区块链技术实现行业合作、资源互换、消费者互利等,促进各方的信任,以开放心态,在保护数据安全的前提下更多的释放数据价值,打造智慧空间的各种应用。


5 数据价值发掘方向不明确

大数据的发展离不开各方参与者,其价值的实现也需要各方通力合作。但是目前大量掌握数据的企业圈地自封,而生产数据的用户却成为了被收割的对象。这也引发了围绕数据价值的喋喋不休的争论——到底是为了提升用户体验,还是收割所剩无几的互联网流量红利?


但是这些都无法阻挡历史前进的车轮。在数据应用领域,诸如快速响应客户各类需求、降低产品设计成本、降低制造及仓储成本、降低运输及配送成本、精准预判投资规划、围绕用户行为的预测快速迭代更新、预测竞品营销策略及市场变化等提升自身竞争力水平的应用,有着巨大的市场空间。


综上,相信有远见的企业得以一窥未来的轮廓,也会积极布局未来的主要赛道。基于精细化的行业属性、数据特征、消费场景的各类应用会层出不穷,届时将进入崭新的数字世界——即智慧空间。


本文转载自公众号 TalkingData(ID:Talkingdata)


原文链接


https://mp.weixin.qq.com/s/07FQEt0BSzhgm3aYPN7R_w


2019 年 7 月 11 日 08:002231

评论

发布
暂无评论
发现更多内容

任务发布系统软件开发|任务发布APP开发

开發I852946OIIO

系统开发

XRP瑞波币系统软件开发|XRP瑞波币APP开发

开發I852946OIIO

系统开发

现代JavaScript:ES6+ 中的 Imports,Exports,Let,Const 和 Promise

Geek_Willie

Java ES6

灵魂一问:数据库连接池到底该怎么配?

Gopher指北

golang MySQL

Serverless 是一种思想状态

Serverless Devs

Java Serverless 运维 云原生 后端开发

传统数仓如何转型大数据

数据社

大数据 数据仓库 七日更

30G 上亿数据的超大文件,如何快速导入生产环境?

楼下小黑哥

Java MySQL 并发编程 线程池

揭开阿里巴巴复杂任务资源混合调度技术面纱

阿里巴巴云原生

云计算 阿里云 性能优化 云原生 资源调度

打开数“智”化之门,一字之差带来的思考

京东科技开发者

DevOps IoT 新基建 智能

高性能MySQL

田维常

MySQL

Spring Cloud 2020.0.0正式发布,再见了Netflix

YourBatman

Spring Cloud Spring Boot netflix 2020.0.0

Go中的Channel背后的设计哲学

soolaugust

go Go Concurrency Patterns 七日更 CSP

最有技术含量的面试

escray

面经 面试经历 101次面试 七日更 十日谈

MySQL字符集修改实战教程

Simon

MySQL 字符集 七日更

如何破解AI数据困境?京东智联云联邦学习平台有良方

京东科技开发者

人工智能 大数据 学习

如何在 20 分钟内给你的 K8s PaaS 上线一个新功能?

阿里巴巴云原生

阿里云 容器 运维 云原生

Android uni-app实现音视频通话

anyRTC开发者

uni-app android 音视频 WebRTC 跨平台

从根上理解高性能、高并发:深入计算机底层,理解线程与线程池

程序员小毕

Java cpu 多线程 高并发 线程池

夜莺二次开发指南-监控系统(2)

qinyening

滴滴夜莺 夜莺监控

如何阅读别人的源码

熊斌

学习 Code Review 源码阅读 七日更

引领云原生发展浪潮 阿里云开启云原生大规模落地元年

阿里巴巴云原生

云计算 阿里巴巴 阿里云 最佳实践 云原生

深度探索Hadoop分布式文件系统(HDFS)数据读取流程

读字节

hadoop hdfs 大数据技术 大数据架构 分布式文件系统

判空使用isEmpty()方法真的可行吗?

田维常

Java

都 2021 年了,Serverless 能取代微服务吗?

Serverless Devs

Serverless 微服务 运维 云原生 后端开发

手写线程池,对照学习ThreadPoolExecutor线程池实现原理!

小傅哥

Java 小傅哥 线程池 七日更 ThreadPoolExecutor

LeetCode题解:42. 接雨水,暴力法,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

你不好奇 Linux 网络发包过程吗?

小林coding

Linux 操作系统 网络

生产环境全链路压测建设历程 18:某快递 A 股上市公司的生产压测案例之中篇

数列科技杨德华

全链路压测 七日更

社区一体化综合平台搭建,智慧平安小区建设解决方案

t13823115967

智慧城市 智慧平安社区平台建设

执法监督信息化建设,公安情报指挥一体化合成作战系统开发

t13823115967

智慧公安

架构师训练营第 1 期 - 第 11 周 - 命题作业

wgl

极客大学架构师训练营

Study Go: From Zero to Hero

Study Go: From Zero to Hero

站在风口上的大数据,究竟被什么拖了后腿?-InfoQ