【锁定直播】字节、华为云、阿里云等技术专家讨论如何将大模型接入 AIOps 解决实际问题,戳>>> 了解详情
写点什么

为什么你的数据科学项目终将失败?

  • 2019-10-08
  • 本文字数:1711 字

    阅读完需:约 6 分钟

为什么你的数据科学项目终将失败?

虽然数据是是推动真正数字转换的关键要素,但组织往往以错误的方式处理数据和分析项目。实际上,很多时候数据科学项目失败的原因,往往是由于人的因素,而非技术因素。技术问题,终将可以通过技术来解决,但人的问题,就没那么容易了。让我们看看数据科学家是怎么看待数据科学项目的成败与人的关系。


你的组织要求你构建一个新的数据平台。这听上去很激动人心,对不对?只是,你失败的可能性要比成功的可能性还大。


Gartner 估计,有 60% 的数据项目取得失败,一些分析师认为这一数字是一个保守的估计。


下面是我认为导致数据项目失败的一些原因。

数据的价值没有得到重视

数据已经成为最重要的商业资产之一,但大多数组织并没有重视它的价值。数据常常被视为功能的一个分支,很少有人会去考虑如何利用它来推动组织中的价值。


数据是新的石油”已经成为描述数据价值的常用语。原油是未经提炼的,虽然它有一些内在价值,但在实现其真正价值之前还需要进一步加工。有太多的组织,只满足于仅仅收集原始数据,而很少考虑将其提炼成有用的产品。

没有组织范围的数据策略

通常应用于软件开发的康威定律(Conway’s law)指出:


“设计系统的架构受制于产生这些设计的组织的沟通结构 。”


这个定理在数据空间中适用,而且可能更加准确。对组织中的每个区域来说,将其数据存储在只适用于其用例的结构和位置,是很常见的做法,而很少会考虑组织的其他区域将如何共享或利用。


如果没有集中职能来定义整个组织的解决方案,很可能会出现数据孤岛:数据存储在不同的数据存储区中。即使在数据存储在集中位置的更好情况下,组织也不会以开放的心态去处理数据结构。这就导致了不那么明显、但同样有问题的数据孤岛。

技术主导的解决方案

不成熟的组织总是将数据视为可以通过技术解决的技术问题,通常认为数据是由技术系统产生并存储在技术解决方案中的。


带来的结果是,数据解决方案是技术团队独立于组织的其他部门来制定的。数据解决方案的架构通常由软件架构师和开发人员执行,但他们却很少了解数据的细微差别,且缺乏上下文或理解。


很自然,这会得到次优解决方案,要么导致交付的平台对大多数最终用户不适用,要么导致大量的重新设计和返工,从而造成交付过程漫长而曲折。

缺乏专注力

组织及其领导者正被数据驱动决策所带来的提高效绩的承诺所诱惑。这会促使高层作出一些陈述,例如:


数据是我们的第一要务。

我们组织的每个区域都必须在决策中利用数据。

在没有捕获数据的情况下,任何新产品或系统都不可交付。


虽然这些听上去像是有用的法令,但它们可能会带来意想不到的后果。它往往会给组织灌输一种“数据狂热”的感觉,从而导致定义不清的需求和数据捕获,而不去考虑如何使用这些数据。


“数据狂热”还可能表现为要求同时处理所有事情,因为需要让人们看到自己正在“处理数据”。这样做的结果就是,在作决策的时候,很少关注这样做对组织有什么好处,而更多的是在复选框中打勾,以确保你不会被指责没有做正确的事情。

忽视技能差距

组织通常已经拥有很长时间的数据存储。数据仓库已经存在很长时间了,它们经常用来交付分析。


然而,用户交付这些数据并分析其中所包含的数据的技能,并不同于构建一个现代数据平台,也不同于从其中所包含的数据中提供深刻和有意义的见解。


大多数组织都没有意识到,向现代数据平台的转型,需要现有劳动力进行大规模的技能转移,并且还难以为弥合这一差距制定计划。


近年来,对高技能数据型人才的需求激增,大多数组织不愿投资招聘这些人才,而是满足于试图利用现有的劳动力。实际上这一做法得不偿失。假设你有一个很棒的数据平台,但没有优秀的人去使用它,那么你就将无法从中获得真正的价值。

结论

数据项目经常因人员问题而失败。至于技术问题,通常可以很容易地解决,但人员是一个非常困难、微妙的问题。


重要的是要认识到,数据项目要取得成功,就必须采取整全观,包括来自组织的所有领域的人员,以开放、协作的心态进行工作。


如果不这样做的话,数据项目将很可能会失败。


作者介绍:


Daniel Amner,是一名数据工程师,对所有数据抱有兴趣,重点关注如何利用数据来提高业务价值。


原文链接:


https://towardsdatascience.com/why-your-data-projects-will-probably-fail-3dfa6f73761c


2019-10-08 08:001399
用户头像

发布了 525 篇内容, 共 239.9 次阅读, 收获喜欢 1543 次。

关注

评论

发布
暂无评论
发现更多内容

前端开发之jQuery的常用方法

@零度

jquery 前端开发

有关 TiDB 升级的二三事——教你如何快乐升级

PingCAP

11 Prometheus之日志及探针监控

穿过生命散发芬芳

Prometheus 1月月更

大画 Spark :: 网络(1)-如何构建起基础的网络模型

dclar

大数据 spark 源代码 框架原理

3 【精】TOGAF认证报考指南(一文讲透)

企业架构知识体系

企业架构 架构师 培训 TOGAF

华为云VSS漏洞扫描服务之开源组件漏洞检测能力

华为云开发者联盟

安全 华为云 漏洞 漏洞扫描 VSS漏洞扫描服务

大数据实践:数据指标中心的建设思路

五分钟学大数据

大数据 1月月更

记录一下童慧琦正念练习

wood

300天创作

云计算服务滥用安全防范

明亮安全观

云计算 网络安全 信息安全 云安全 安全加固

记EVO 使用error

Ayosh

EVO

👀TypeScript防脱发级入门——TS中的类

法医

typescript 前端

今儿新学会一个写日志技能:双缓冲机制

华为云开发者联盟

线程 日志 应用程序 双缓冲区 Web程序

高并发下如何实现对象的共享?

JavaEdge

1月月更

构建云端智慧厨电 呵护人间烟火之智慧云厨房的那些事儿

坚果

华为云 1月月更

【伙伴故事】智慧厨电接入华为云+HarmonyOS,你的未来厨房长这样

华为云开发者联盟

华为云 HarmonyOS iotda 智慧厨电 厨房

使用 Visual Studio Code 编写和激活 ABAP 代码

Jerry Wang

vscode abap 1月月更 vs-code

被忽视的NTP安全

喀拉峻

网络安全 安全 信息安全

一次ATDD的团队实践

Bruce Talk

敏捷 Agile User Story Product Owner Coach/Facilitate

解析HetuEngine实现On Yarn原理

华为云开发者联盟

sql 大数据 hadoop HetuEngine On Yarn

万字长文带你漫游数据结构世界

秦怀杂货店

Java 数据结构 算法

ReactNative进阶(十二):本地存储 AsyncStorage 及 Realm 使用

No Silver Bullet

React Native 1月月更 realm AsyncStorage

人类视觉计算理论经典著作,豆瓣评分9.7,中文版惊鸿面世!

博文视点Broadview

不会一致性hash算法,劝你简历别写搞过负载均衡

程序员小富

Java 面试 算法 架构设计 一致性算法

一文了解数据库事务和隔离级别

Ayue、

MySQL 事务 1月月更

DevOps 需要更多的自动化

SoFlu软件机器人

main函数你到底知道多少

恒生LIGHT云社区

后端 开发 Java’ main方法

模块九作业-设计电商秒杀系统

deng

架构实战营

一个cpp协程库的前世今生(十八)空闲与等待

SkyFire

c++ cocpp

1月月更|推荐学Java——Maven初识

逆锋起笔

maven javase Java后端 java 编程

当时间管理碰上大数据,从此,悠悠时光也终不再那么漫长

华为云开发者联盟

MySQL 数据库 云原生 App 云数据库RDS for MySQL

字节码增强技术之 Java Agent 入门

zuozewei

性能分析 埋点 javaagent 性能监控 1月月更

为什么你的数据科学项目终将失败?_技术管理_Daniel Amner_InfoQ精选文章