AICon议程上新60%,阿里国际、360智脑、科大讯飞、蔚来汽车分享大模型探索与实践 了解详情
写点什么

大数据与机器学习 2016 年大事记

  • 2017-02-02
  • 本文字数:2922 字

    阅读完需:约 10 分钟

前言

不知不觉间,2016 年已然过去,2017 年已经到来。蓦然回首,我们发现在过去的一年,大数据和人工智能领域的发展让我们眼花缭乱,应接不暇,待我为大家梳理一番。

标志性大事件

  • Apache Hadoop at 10 :Hadoop 诞生 10 年了。2006 年 1 月 28 日,Doug Cutting 和 Mike Cafarella 从他们的开源网络爬虫项目(Apache Nutch)中分离出分布式文件系统以及 MapReduce 设施,把它当作一个子项目,并称其为 Hadoop。Cutting 发表了他动情地回顾了自己与 Hadoop 故事,并提出了对未来的展望
  • 人工智能再显身手,谷歌AlphaGo 战胜李世石:Google 旗下DeepMind 出品的AlphaGo 连胜三局(五局三胜制)战胜韩国职业棋手围棋九段李世石。这将是人工智能领域的又一里程碑事件。另外,2016 年底,神秘的Master 给我们带来了精彩续集: 60 胜 0 负!谷歌承认 Master 是 AlphaGO

大数据技术继续蓬勃发展

以 Hadoop 和 Spark 为代表的大数据技术生态系统继续发展壮大。

  • Hadoop 3.0 新特性预览:Hadoop 3.0 中引入了一些重要的功能和优化,包括 HDFS 可擦除编码、多 Namenode 支持、MR Native Task 优化、YARN 基于 cgroup 的内存和磁盘 IO 隔离、YARN container resizing 等
  • Apache Spark 2.0.0 发布,APIs 更新:Apache Spark 2.0.0 发布了,Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载
  • Apache Beam 将统一大数据平台的开发:一直以来,大数据开发涉及到各种框架,比如,Hadoop、Storm、Spark 和 Flink 等,基于这些框架的开发要求的技术栈都各不同,这对开发者来说开发成本比较高,在 Beam 的统一下可以实现写一个程序既能在 Hadoop 中运行又可在 Spark 中运行

巨头相继开源机器学习框架

  • Facebook 开源深度学习框架 Torchnet ,相比其他巨头自己搭建的深度学习框架,Torchnet 更加开放,也将大幅推进深度学习的应用普及
  • LinkedIn 开源机器学习库 Photon :Photon 机器学习支持 Apache Spark,通过结合 Spark 快速处理海量数据的能力和强大的模型训练和诊断工具,Photon 机器学习提供给研究型工程师更多的信息来决策使用哪类推荐系统算法
  • Microsoft 开源其深度学习工具包 CNTK :CNTK 是一个统一的深度学习工具包,它通过一个有向图将神经网络描述为一系列计算步骤。在有向图中,叶节点表示输入值或网络参数,边表示输入之上的矩阵运算。CNTK 使得实现和组合前馈型神经网络 DNN、卷积神经网络(CNN)和循环神经网络 (RNNs/LSTMs) 变得非常容易。实现了支持跨多个 GPU 和服务器自动分化和并行化的随机梯度下降(SGD)学习
  • 亚马逊 AWS 推出人工智能服务:与微软谷歌竞争:亚马逊举行发布会宣布,旗下云服务 Amazon Web Services(以下简称“AWS”)增加人工智能服务,可以让开发者在应用中增加预测和分析功能
  • Google 已经于 2015 年底开源 TensorFlow,并于 2016 年继续完善

巨头竞相收购人工智能公司

Google,Facebook,Microsoft 相继表示,未来将更加重视 AI,除了开源了以上的机器学习框架,还分别投入巨资收购了一些人工智能公司和人才。

国内的发展

大数据技术

以华为,百度,阿里为代表的巨头在开源领域纷纷取得巨大进展。

人工智能

2016 年可以说是人工智能真正成为主流的元年,人工智能成为了非常热门的概念。AlphaGo 大战李世石等事件,甚至引发了一些机器人取代人、危害人等消极观点。

其他的进展

  • 2016 是无人驾驶转折年:科技巨头纷纷入场:2016 年,无人驾驶逐渐成为“风口”,各大车企和创投都将目光投向这一领域。无人驾驶,让科幻片中才有的黑科技似乎一下子离大众或许只有几步之遥
  • 现在 Google 制造自己的芯片,Intel 要发疯:Google 的目标始终未变:空前的高效。为了让 AI 技术跃上一个新高度,他们需要一种能在更低能耗前提下,用更短时间完成更多任务的芯片。但这个芯片所产生的效果已经超越了 Google 帝国本身,甚至让 Intel 和 nViaia 这样的商业化芯片制造商的未来受到威胁,尤其是考虑到 Google 对于未来的愿景
  • 英伟达 20 亿美元豪赌人工智能:20 亿美元是什么概念?英伟达去年全年的营业收入也才 50 亿美元出头,所以英伟达用了几乎一半的全年收入投入到这一款芯片的研发中,这背后的原因是,英伟达看中了人工智能领域未来的发展

推荐阅读

作者简介

丁涛是一名软件工程师,目前就职于京东商城。专注于后端 / 服务端开发、架构设计,关注架构设计、大数据、人工智能领域的发展


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-02-02 18:003834
用户头像
丁涛 越努力,越幸运

发布了 35 篇内容, 共 93788 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

架构实战营模块一作业

En wei

架构实战营

K8S行业调研报告出炉:混合云、边缘计算走向主流

Rancher

通过校企合作,我们打造了一个培养应用型人才的“梦工场” | 精选案例

亚马逊云科技 (Amazon Web Services)

社交出海,应如何突破安全与合规困局? | 精选案例

亚马逊云科技 (Amazon Web Services)

NoCode 实战 | 零代码应用开发,轻松搞定任务跟踪管理难题(下)

亚马逊云科技 (Amazon Web Services)

Java 并发基础(四):再谈 CyclicBarrier

看山

Java并发

大数据计算时数据倾斜问题及解决方案

五分钟学大数据

大数据 4月日更

架构实战营第一模块命题作业

Vic

架构实战营

iOS 面试策略之代码考查到offer的比较和选择

iOSer

ios 面试

快速学一遍vue的状态管理模式 -- Vuex

空城机

JavaScript Vue 大前端 4月日更 vuex

架构实战营第一模块课程总结

Vic

架构实战营

deno + Vite 会碰撞出什么样的火花呢?

Viktor

deno vite

中文文档持续迭代,内容更丰富,入口更简明!

Rancher

全面升级! 星环科技基础软件再升级 赋能数字中国建设

星环科技

理查德·斯托曼:为了自由,我决定写一个GNU操作系统(下)

开源青年

开源 开源青年 开源文化 人物志

亚马逊云科技大中华区企业业务拓展总经理凌琦:云计算赋能芯片设计和制造

亚马逊云科技 (Amazon Web Services)

架构实战营-M01H

赤色闪电

架构实战营

模块1

Chris Cheng

架构实战营

Java 代理使用与原理

Yangjing

cglib JDK代理 代理原理

人人矿场帮助用户轻松获取算力

DT极客

开源软件运动|网景公司|大教堂与集市

开源青年

开源 开源青年 开源文化 人物志

crudapi零代码开发平台应用场景和成功案例

crudapi

RESTful API sdk crud crudapi

模块一:课后作业

黄先生

架构实战营

Spark数据倾斜解决方案实战(一)

小舰

4月日更

Java 并发基础(三):再谈 CountDownLatch

看山

Java并发

Amazon SageMaker Debugger 推出模型分析功能啦 | 新服务上线

亚马逊云科技 (Amazon Web Services)

理查德·斯托曼:我能发起“自由软件”运动全靠那台打印机(上)

开源青年

开源 #人物志 开源青年 开源文化

KAIFA 的「AMI 智能计量系统解决方案」出海记 | 精选案例

亚马逊云科技 (Amazon Web Services)

优雅编程:JavaScript代码优化常见的3个小技巧

devpoint

map reduce 空值运算符 filter 扩展运算符

Java 并发基础(二):主线程等待子线程结束

看山

Java并发

亚马逊云科技发布中国业务战略!

亚马逊云科技 (Amazon Web Services)

大数据与机器学习 2016年大事记_大数据_丁涛_InfoQ精选文章