本文最初发布于 Matt Turck 的个人博客，经原作者 Matt Turck 授权由 InfoQ 中文站翻译并分享。

今年是数据世界的又一个激烈的一年，充满了兴奋，但也充满了复杂性。

随着世界上网民越来越多，所有事物的“数据化” 都在继续加速。在基础设施、云计算、人工智能、开源以及我们经济和生活的整体数字化的交叉发展的推动下，这一大趋势如风起云涌、波澜壮阔的画卷。

几年前，关于“大数据”的讨论大多是技术性的，集中在新一代工具的出现上，这些工具可以收集、处理和分析海量数据。其中许多技术现在已经很好地被人们理解，并得到了大规模的部署。此外，特别是在过去的几年里，我们开始通过数据科学、机器学习和人工智能在许多应用中增加智能层，这些应用现在正越来越多地在各种消费类和 B2B 产品的生产中运行。

随着这些技术的不断改进，并从最初的早期采用者群体（FAANG 和初创公司）扩展到更广泛的经济和世界，讨论正从纯粹的技术转变为围绕对我们的经济、社会和生活的影响的必要对话。

译注：FAANG 指的是 Facebook、Apple、Amazon、Netflix 和 Google 的合成。这个词语由美国 CNBC（消费者新闻与商业频道）的 Jim Cramer 创造。截止 2018 年，以上公司的市值总额已达到 3 万亿元。

我们才刚刚开始真正意识到未来颠覆的本质。在一个数据驱动自动化成为规则的世界中（自动化产品、自动化汽车、自动化企业），工作的新本质又是什么呢？我们该如何处理社会影响？我们又该如何看待隐私、安全和自由？

与此同时，基础技术正在继续快速地发展，初创公司、产品和项目构成了一个充满活力的生态系统，预示着或许更深远的变化即将到来。在这个生态系统中，这一年的特点是，公众期待已久的整合在早期阶段开始，也许随着早期技术开始让位给下一代，一个时代结束了，另一个时代开始了。

为了试着理解这一切，这是我们的第七个年度全景图和数据与人工智能生态系统的“联合状态”。值得注意的是：随着“大数据”一词现在已进入曾经热门的流行词博物馆，因此今年的图表将仅仅是“数据和人工智能全景图”。

另外，为了使本文的阅读更容易理解，我们将文章分为两部分：

第一部分将包括一些关于数据隐私和监管快速发展的背景的介绍性思考，这将对数据技术能够做什么，不能够做什么产生深远的影响；它还将包括全景图本身。

第二部分将包括数据基础设施、分析和机器学习 / 人工智能等主要趋势的综述。

数据、人工智能和社会：潮流正在转变

在 2018 年，我们注意到，在剑桥分析公司（Cambridge Analytica）的丑闻发生后，数据世界开始暴露更黑暗、更恐怖的暗流涌动。

这一趋势在 2019 年将会继续发展。数据泄露事件越来越多，隐私丑闻也越来越多。随着涌现更多关于中国监视国家的报道，更多的人工智能深度伪造（Deepfake）的怪异例子，人们对此毫无准备。

结果，潮流开始急转直下。

当然，关于人工智能的危险的辩论（尽管具有科幻色彩）已经激发了公众的想象力，今年我们看到了更多关于思考这些问题的举措，例如李飞飞博士成立的以人为本的人工智能研究所（Institute for Human-Centered Artificial Intelligence）。

但直到最近，几乎所有人都遇到了关于数据所有权、隐私和安全性的问题，只有发声的少数人，大多数人都选择了这样的态度：“事不关己，高高挂起；明知不对，少说为佳。”。

隐私问题可能比以往任何时候都更加突出，在 2019 年一跃成为公众辩论的焦点，现在更是公众辩论的前沿、左派和中心议题。事实上，其中许多问题都与 Facebook 有关，这一项坐拥数十亿用户的服务，可能在让世界各地更广泛的人群意识到这些问题的严重性方面发挥了重要作用。

随着各国政府越来越多地介入，数据隐私格局也正在发生变化。

监管无疑正在全面展开：

GDPR（通用数据保护条例），即欧洲数据保护和隐私法规，于 2018 年 5 月生效，自生效以来，开出了几项备受瞩目的罚款，其中包括法国数据保护监管机构 2019 年 1 月对 Google 开出的 5000 万欧元罚款，英国信息专员办公室于 2018 年 10 月对 Facebook 开出的 50 万英镑的罚款。
加州消费者隐私法案（CCPA）将于 2020 年元旦生效。
纽约的隐私法案甚至比加州的“更大胆”。
旧金山刚刚通过禁止市政机构使用人脸识别。
伊利诺伊州反对将视频机器人用于招聘面试。

然而，政府可能会采取更严厉的行动。首先，Facebook 可能会因隐私问题被 FTC（美国联邦贸易委员会）课以 50 亿美元的罚款。或许最重要的是，要求拆分最大的互联网特许经营权——太多的权利，太多的数据，而没有足够的隐私。最明确的目标是 Facebook（请参见其创始人之一 Chris Hughes 发表的这篇广为人知的观点文章），但讨论也包括了其他目标（如总统候选人 Elizabeth Warren 的一项针对 Google 和 Amazon 的提案）。

大型科技公司已经承受着来自自身内部的压力。Google、Amazon 和 Microsoft 的员工抗议人脸识别技术的商业化。Google 妥协了。但 Amazon 并没有，一些激进的股东和员工试图实施禁令，但遇到了挫败。

对于 FAANG 来说，隐私已成为一个新的战场，迫使他们的领导人在这个问题上采取更多的公开立场：

Apple 首席执行官 Tim Cook，就“数据武器化”向我们发出警告，这将会把我们带入“数据工业综合体”。
Google 首席执行官 Sundar Pichai 在《纽约时报》就隐私问题公开表明自己的立场。
Facebook 首席执行官 Mark Zuckerberg 誓言要将 Facebook 打造成一个注重隐私的即时通讯和社交网络平台。

当然，这些声明应该在多大程度上视为可信，谁也说不准，很可能要取决于具体的公司和领导人。

就 Facebook 而言，这家公司推出全球加密货币“Libra”，可以被认为是在“post-data”中继续赚钱的方式，在隐私至上的世界里，公司将不再依赖基于用户数据的纯广告模式，或作为一种收集更多个人数据的一种方式。

关于数据和人工智能对隐私和社会的影响的辩论显然非常重要，而且，在过去一年左右的时间里，它变得更加主流，这从根本上来说是健康的。

然而，这是一场复杂的讨论，涉及到许多细微差别。

我们与隐私的关系仍然是复杂的，充满了混乱的讯号。人们说他们关心隐私，但却继续购买各种连接设备，这些设备都不确定有没有隐私保护。他们表示对 Facebook 的隐私泄露事件感到愤怒，然而 Facebook 用户数量却持续增长并超过了预期（2018 年第四季度和 2019 年第一季度）。

同样的，我们决定如何处理人工智能也涉及到许多权衡。与所有的技术一样，人工智能本质上是中性的，无论它对社会的影响是好还是坏，归根结底都是人类的决定。以人脸识别为例：它可以成为国家监管的工具，但它也可以帮助定位性交易的受害者。决定如何监管或遏制人工智能，在某种程度上，这样的事情甚至是可能的，会涉及到各种难以预测的二阶后果。例如，如果你在西方世界对人工智能进行监管，而中国有一套不同的规则（抛开任何关于价值观的讨论不谈），你最终会失去对中国的长期竞争优势吗？

数据技术：充满活力，不断发展的全景图

虽然在 2019 年不可能忽视有关数据和人工智能的隐私、安全和监管等更广泛的问题，但数据技术和产品的生态系统仍像以往一样令人兴奋（而且还是完整的！）。

生态系统也正以一些有趣的方式演变，因为一些开创性的技术可能正被逐步淘汰，如 Hadoop 被云计算和 Kubernetes 取代，而整个细分市场，如商业智能，似乎正在迅速巩固。

我们将详细讨论这些不同的趋势，但首先，请看一下我们做的 2019 年数据和人工智能全景图：

一些关键资源：

谁将入围，谁将出局？

从退出的角度来看，过去一年（自 2018 年以来）一直很活跃。

全景图有几家公司已经上市。Crowdstrike（NASDAQ:CRWD）和 Elastic（NYSE:ESTC）在 IPO 时的估值都很高，分别为 70 亿美元和 50 亿美元。其他 IPO 包括 PagerDuty（18 亿美元），Anaplan（18 亿美元）和 Domo（5 亿美元）。

去年发生了一些非常大的收购，包括：Qualtrics（由 SAP 以 80 亿美元收购）、Medidata（由 Dassault 以 58 亿美元收购后上市）、Hortonworks（由 Cloudera 以 52 亿美元收购）、Imperva（由 Thoma Bravo 以 21 亿美元收购）、AppNexus（由 AT&T 以高达 20 亿美元收购）、Cylance（由 BlackBerry 以 14 亿美元收购）、 Datorama（由 Salesforce 以 8 亿美元收购）、Treasure Data（由 ARM 以 6 亿美元收购）、Attunity（由 Qlik 以 5.6 亿美元收购后上市）、Dynamic Yield（由 McDonald’s 以 3 亿美元收购）和 Figure Eight（由 Appen 以 3 亿美元收购）。

值得注意的是，仅在最后一个季度中，商业智能领域就出现了一波整合浪潮：Tableau（由 Salesforce 以 157 亿美元收购）、Looker（由 Google 以 26 亿美元收购）、Periscope Data（由 Sisense 以 1 亿美元收购）、ClearStory Data（由 Alteryx 以 2000 万美元收购）和 Zoomdata（由 Logi Analytics 收购）。

在 2018 年的全景图中，许多其他公司都是以较低的价格被收购的：Alooma（Google）、Bonsai（Microsoft）、Euclid Analytics（WeWork）、Sailthru（Campaign Monitor）、Data Artisans（Alibaba）、GRIDSMART（Cubic）、Drawbridge（LinkedIn）、Citus Data（Microsoft）、Quandl（NASDAQ）、Connotate（import.io）、Datafox（Oracle）、Market Track（Vista Equity Partners）、Lattice Engines（Dun & Bradstreet）、Blue Yonder（JDA Software）、SimpleReach（Nativo）。

同样值得注意的是，2019~2017 年被大型互联网公司收购的人工智能公司并没有完全消亡：例如，Twitter 收购了 Fabula AI，其收购目的是为了增强其机器学习专业技能。

在投资方面，大数据和人工智能初创公司继续进行大规模融资。在中国的投资并没有像去年那么庞大，当时有多家公司筹集了超过 10 亿美元的资金。今年进行大规模融资的中国公司包括人脸识别公司 Face++（北京旷视科技）（D 轮融资 7.5 亿美元）、人工智能芯片制造商 Horizon Robotics（地平线）（B 轮融资 6 亿美元）、车队管理 G7（北京汇通天下物联科技）（F 轮融资 3.2 亿美元），在线教育平台猿辅导（F 轮融资 3 亿美元）。

在美国，对自主驾驶汽车公司进行了巨额投资，包括 Cruise（2018 年和 2019 年两轮融资 19 亿美元）、Nuro（B 轮 9.4 亿美元）和 Aurora（B 轮融资 6 亿美元）。机器人流程自动化（Robotic Process Automation，RPA）公司也进行了多轮融资：UiPath（2018 年和 2019 年两轮融资共 8 亿美元）、Automation Anywhere（2018 年两轮融资 5.5 亿美元）。

其他主要的美国公司包括 Verily Life Sciences（私募股权融资 10 亿美元）、Cambridge Mobile Telematics（5 亿美元）、 Clover Health（E 轮融资 5 亿美元）、Veeam Software（5 亿美元）、Snowflake Computing（F 轮融资 4.5 亿美元）、Compass（F 轮融资 4 亿美元）、Zymergen（C 轮融资 4 亿美元）、 Dataminr（E 轮融资 3.92 亿美元）、Lemonade（D 轮融资 4 亿美元）、Rubrik（E 轮融资 2.6 亿美元）、Databricks（E 轮融资 2.5 亿美元）和 MediaMath（D 轮融资 2.25 亿美元）。

作者介绍：Matt Turck，是一家位于美国纽约的早期风险投资公司 FirstMark 的投资人，同时也是每月为纽约和其他地区的科技社区举办大型活动 Data Driven NYC、Hardwired NYC 的组织者。

本文的第二部分请参看：
2019 年数据和人工智能全景图：主要技术趋势

原文链接：
A Turbulent Year: The 2019 Data & AI Landscape

创作场景

2019 年数据和人工智能全景图：谁将入围，谁将出局？