写点什么

获取数据科学需要的数据

  • 2016-09-08
  • 本文字数:1679 字

    阅读完需:约 6 分钟

Lukas Vermeer 是一名经验丰富的数据科学专家,同时也是 Booking.com 试验部门产品负责人。他认为,数据科学和你需要的数据有关;决定收集、创建或保留什么数据是基础。真正的创新始于提出重大的问题,然后就很容易知道需要哪些数据才能找到你寻找的答案。在 GOTO 阿姆斯特丹 2016 大会上,Vermeer 探讨了数据科学与数据炼金术。

Christine Doig 是 Continuum Analytics 的高级数据科学家。她在文章“作为一门团队学科的数据科学”中将数据科学定义为:

我喜欢将 [数据科学] 想象成胶水,它将不同领域和思路粘合在一起,通常用于解决数据相关的问题,并将信息转换成知识和可行的见解。

在 InfoQ 文章“ 2016 年数据科学家将扮演什么角色”中,Ed Jones 解释了为什么大数据和数据科学很重要:

我们已经处在大数据时代,这是无法改变的事实。随着数据量与日俱增,从这些数据中提取出价值的工作只会慢慢变得更加复杂和困难。大数据经济背后的逻辑,正在以无法想象或预测的方式重塑我们的生活;我们做出的每一个电子操作都将产生数据,并留下与自己生活相关的蛛丝马迹。

Vermeer 表示,“我们希望检验一下,人们是否喜欢我们对网站所做的修改”。Booking.com 借助试验和其他形式的数据收集不断地改进他们的网站,创建更好的客户体验。

Vermeer 指出,“你可以拥有大量的数据,但如果你不知道能用它们干什么,那就没有用。”更多的信息并不一定形成更好的决策。数据科学和你需要的数据有关,通常,那和你拥有的数据不同。Vermeer 说,科学受数据所限,而数据为工程技术所限。你必须考虑如何创建所需的数据,以便能够取得进展。

在演讲中,Vermeer 使用了太阳系科学史上的例子。为了展示数据如何为工程技术所限,他回顾了天文学研究的一段历史。托勒密没有发现科里奥利效应和恒星视差,因为他没有足够准确的测量设备,而且这两种效应都非常微弱。除了其他因素之外,缺少证据让他得出了地球不动这个结论。对于托勒密而言,有关这两种效应的数据明显是受当时的工程技术所限。关于这一点,回顾过去更容易看出来,但同样适用于今天。

Vermeer 认为,模型并非必不可少,但如果它们有助于预测未来,就是有用的。可能有多个模型可以解释已有的数据。但你无法使用自己拥有的数据证明哪个模型正确。确定哪个模型更接近真相需要你收集新的数据。

Vermeer 提到了 Kaggle.com。这是一个数据科学家社区,从中你可以学到如何解决复杂的数据科学问题,结识其他的数据科学家。

你可以通过分析客户评论并查找关键词(比如可以表明人们喜欢或不喜欢旅馆的词语)进行情感分析。但是,你也可以在评论表单里提供两个输入框,一个用于输入人们喜欢的东西,一个用于人们不喜欢的东西。Vermeer 表示,这种方法就解决了数据收集时的情感分析问题。

Vermeer 建议考虑你能够创建的数据。如果这份数据与已有的数据部分重叠,你可以选择保留那份数据,或者在需要的时候重新创建。成本和风险(比如泄露个人身份信息(POII)数据)是决定保留或重建的两个主要原因。保留数据的成本显而易见。可能还有其他方面的考虑,这取决于现有的数据。

也会有你需要但是无法获得的数据。作为一种解决方案,你可以使用代理数据:和你需要的数据相关而又可以获得的数据,那样,你就可以用它替代需要的数据。

Vermeer 举了一个例子。Booking.com 举办了一个邮件发送活动,使用个性化设置向旅行者宣传旅游目的地。有些客户认为,邮件的措辞令人害怕,因为它让他们觉得,有人逐个分析了客户过去的购买记录,才提出了那样的建议。实际上,那些建议是基于一个机器学习模型,而不是人的判断。在下一次活动中,邮件文本重新措辞,在没有对预测模型做任何修改的情况下,效果提升了两倍。

Vermeer 表示,由于数据科学是一门科学,而不是炼金术,所以决定收集什么数据以及如何收集是基础步骤。

“犯了错,你能承担得起吗?”“你可以不知道吗?”这是演讲结束时 Vermeer 向听众提出的问题。他引用了伏尔泰的一句话:“判断一个人凭的是他的问题而不是他的回答。”如果人们提出的问题让我思考以前从未想过的东西,那很好,Vermeer 如是说。

查看英文原文 Getting the Data Needed for Data Science

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2016-09-08 19:001565
用户头像

发布了 1008 篇内容, 共 372.4 次阅读, 收获喜欢 340 次。

关注

评论

发布
暂无评论
发现更多内容

2019-2021历年阿里Android面试真题,面试杀手锏

android 面试 移动开发

2020-2021华为Android面试真题,大厂内部资料

android 面试 移动开发

kafka集群迁移实践

小江

kafka 迁移 消息队列

Prometheus 2.25.0 新特性

耳东@Erdong

release Prometheus 9月日更

1-3年Android开发工程师面试经验分享,程序员去大公司面试

android 面试 移动开发

Linux IPTables:如何添加防火墙规则

华为云开发者联盟

Linux 防火墙 iptables 数据包 防火墙规则

Groovy参数默认值在接口测试中应用

FunTester

接口测试 Groovy FunTester 参数默认值 重载

异地多活知识总结

十二万伏特皮卡丘

关于一场甲乙双方争议的思考

boshi

创业 项目管理

10天拿到阿里Android岗offer,深入剖析

android 面试 移动开发

10天用Flutter撸了个高仿携程App,薪资翻倍

android 面试 移动开发

12个View绘制流程高频面试题,膜拜大牛

android 面试 移动开发

1307页字节跳动Android面试全套真题解析火了,阿里P8大牛亲自教你

android 面试 移动开发

2019-2021历年字节跳动Android面试真题解析,字节跳动高工面试

android 面试 移动开发

2021Android大厂面试真题,2021Android面试心得

android 面试 移动开发

10天拿到字节跳动Android岗位offer,看完跪了

android 面试 移动开发

详解网商银行“三地五中心”数据部署架构

博文视点Broadview

2021Android常见笔试题,字节面试官

android 面试 移动开发

10天拿到字节跳动安卓岗位offer,阿里内部Android应届生就业宝典

android 面试 移动开发

12年高级工程师的“飞升之路”,进阶学习资料

android 面试 移动开发

2021Android岗面试题知识点小结,Android程序员必看

android 面试 移动开发

Go 中队列的实现

baiyutang

9月日更

10天拿到字节跳动Android岗位offer,【面试必会】

android 面试 移动开发

10天拿到阿里Android岗offer,面试必知必会

android 面试 移动开发

1-3年Android开发工程师面试经验分享,资深大牛带你了解源码

android 面试 移动开发

2020-2021阿里巴巴安卓面试真题解析,2021最新版

android 面试 移动开发

Kotlin DSL实现原理介绍

maijun

kotlin dsl

浅谈函数式编程与 Stream

Dobbykim

10天拿到字节跳动Android岗位offer,2021金三银四

android 面试 移动开发

架构实战营 - 模块四作业

en

架构实战营

python学习:day3-流程控制

秦时明月

Python编程

获取数据科学需要的数据_大数据_Ben Linders_InfoQ精选文章