LinkedIn 工程经理眼中的数据世界格局

  • 杨赛

2015 年 7 月 17 日

话题:大数据语言 & 开发ArchSummitSparkAI

本报道根据 LinkedIn 工程经理 Hien Luu 在ArchSummit 深圳 2015的主题演讲内容整理而成。该主题演讲《大数据趋势》从三个层面分享了 Hien 对于大数据行业发展的观察与理解,分别是:

  • 数据技术在业务需求——无论是生活还是商政方面——在近年来的巨大变化
  • 现代数据技术的重要里程碑
  • 数据技术以及它们在解决业务需求的时候正在面临的挑战,以及未来的一些可能出现的趋势

嘉宾简介

Hien Luu,目前在 LinkedIn 领导团队构建大数据应用及基础设施,负责细分与定位平台、工作流与调度系统。有 20 余年工作经验,Apache Pig 项目贡献者。在大数据应用与基于 Web 的可扩展应用领域拥有丰富的设计与构建经验。在大数据、Web 应用框架、云计算、RESTful Web 服务和加密等领域都有很丰富的经验。作为软件工程师和技术领导交付了很多成功的软件。热爱构建可伸缩、高可用的系统。

世界对数据技术的需求

当前,全球每日产生的数据量大约为 1.5 EB。目前全球所有的数据里,有 90% 都是在过去两年内生成的;而且在未来,预计每两年的数据量都会翻倍增长。

1.5 EB 是个什么概念?10 TB 大约是国会图书馆内所有 3700 万藏书的信息量;1 PB 是 1000 TB,50 PB 大约是全人类有史以来所有书写内容的信息量;1 EB 是 1000 PB,5 EB 大约是全人类有史以来所有说过的话语的信息量。现在整个互联网的信息量大约是 YB 级,就是 EB 之上的 ZB 之上的一个数量级,现在像是 NSA 那种规模的数据中心能够容纳这个数量级的数据。

这些数据都是哪儿来的?Facebook 现在是 300 PB 的量级,Amazon 大约是 EB 级,Google 大约是 10 EB 级,而这些数据都是来自我们每一个人的贡献。而现在所被频繁讨论的物联网,则每一个物品都有一个独特的识别,它们将会数量庞大,以更快的速度制造更多的数据。比如,Google 自动驾驶汽车不间断的从激光感应器、雷达、方位感应器等传感器收集数据并进行实时处理,每辆车收集的数据量达到每秒 1GB。GE 的飞机引擎,每一个引擎平均在一次飞行中就会产生 1TB 的数据,而一个引擎每年能消耗价值 2000 亿美金的燃油。而对于 GE 这样庞大的企业,即使是 1% 的燃油节省、1% 的效率提升,都意味着巨大的节省。

数据就是 21 世纪的原油,需要加工才能产生价值。我们用数据做什么?怎样带来价值?目前常见的大概有五个方向:预测,推荐,问题识别,个性化,以及参考。预测,尤其是近期预测,以 Google Flu Trends 为代表,结合历史数据推断近期是否会爆发流感。内容推荐,以 Netflix 为代表,他们当时为电影评分推荐引擎专门设置了一个奖项。问题识别,如城市堵车问题,有一家叫做 Inrix 的公司在 37 个国家提供实时交通信息。个性化,以 LinkedIn 的 Economic Graph 为代表。公共参考这一块,我很欣赏的一个非盈利组织 DataKind 做得很不错,他们在全球很多国家都提供数据点,涉及饥饿问题、气候问题等。另外美国政府在数据这方面也有很大投入,他们聘请了 DJ Patil 作为首席数据科学家,也建立了 data.gov 网站公布很多政务信息。

现代数据技术的重要里程碑

大数据时代可以说是从 2003 年 Google 两篇论文的公布开始的,一篇是 Google File System,另一篇则是 MapReduce。这两个方面的研究都是为了解决 Google 在搜索和索引当中遇到的数据问题,后来促生了 2006 年 Hadoop 的诞生。

Hadoop 最大的特点就是数据处理的民主化(分布决策),对于部分系统失效的情况能够较好的处理。喜欢上 Hadoop 的开发者们很快就在 Hadoop 的基础上创建了新的抽象层,如 Hive 和 Cascading 等,不过 Hadoop 1.0 仍然有很多局限性,最大的两个局限性就是扩展性问题和资源配置的效率问题。这两个问题到了 Hadoop 2.0 就好了很多。

Hadoop 只是一个框架,提供了数据处理能力,而用户需要的是解决方案。在用户需求的推动下,又促生了诸如 Hortonworks 这样的公司。

2010 年,AMPlab 推出的 Spark 又带来了重大的改变。其有三个特点最令人兴奋,一是速度(内存计算),二是通用性(是一个支持各种数据类型的通用引擎),三是易用性(API 容易上手且提供多个流行语言的版本)。

对于 Spark 的性能,2014 年有一次基准测试的数据,100TB 的数据在 23 分钟内完成处理,比 Hadoop 要快数倍。而且在资源使用方面,更是只有 Hadoop 的十分之一(206 vs 2100)。

将这些框架和能力做成解决方案,如何做得灵活又能够容错,就是一个系统架构的问题了。现在一个架构模式是 Lambda 架构,其中有三个设计原则,一个就是能够对人类的错误进行容错(因为是人总会犯错),让人类的错误不会造成数据破坏、数据丢失,第二个是数据的不变性,三是保留原始的数据,以后可以再进行其他的处理计算。

Lambda 架构包括三部分。数据来的时候会送到 Speed Layer,下面是 Batch Layer,再往下是 Service Layer 用于服务 Batch Layer。

数据技术正在面临的挑战以及未来可能的趋势

一个挑战是把不同来源的数据进行更高效的整合。一个挑战是缺乏分析的技能,因为这个领域目前还缺乏人才,预计到 2018 年数据科学家的缺口会达到 150 万,但是越来越多的大学已经在提供这方面的硕士课程。另一个是数据在刚刚被制造出来的时候是更有价值的,即实时数据的价值高于历史数据,所以快速处理数据的能力也是一个挑战,不仅要快、要高效率,还要支持大规模。

其他的挑战还有文化方面的,要在公司内部建立数据驱动的文化,存储、收集、分析数据的文化。

还有一个趋势是数据科学即服务。其实现在已经有一些,比如 Amazon Maching Learning Service,Google Prediction API 等等,但能做的事情还很有限,这里的难度还是很高的。

下一个大数据的创新是 Prediction Phase,机器学习将无所不在。数据越来越多,机器学习的效果就越好,会逐渐的提升。

【完】

Looking for 更多有爱的技术会议?可以看看下面这三个能量满塞的活动:

  • 全球容器大会CNUTCon,由 InfoQ 最懂 container 技术的编辑 Gary 同学策划邀请可能是国内外在 container 技术的应用上最有经验的工程师们创造一次为期两天的交流机会,只需要在北京就可以跟他们近距离接触。会议时间:2015 年 8 月 28~29 日。
  • QCon 上海 2015,综合性软件技术会议中的经典,无需赘言。会议时间:2015 年 10 月 15~17 日。
  • ArchSummit 北京 2015,将在本次 ArchSummit 深圳站结束之后公布议程与报名信息,敬请留意!
大数据语言 & 开发ArchSummitSparkAI