写点什么

大数据与机器学习 2016 年大事记

  • 2017-02-02
  • 本文字数:2922 字

    阅读完需:约 10 分钟

前言

不知不觉间,2016 年已然过去,2017 年已经到来。蓦然回首,我们发现在过去的一年,大数据和人工智能领域的发展让我们眼花缭乱,应接不暇,待我为大家梳理一番。

标志性大事件

  • Apache Hadoop at 10 :Hadoop 诞生 10 年了。2006 年 1 月 28 日,Doug Cutting 和 Mike Cafarella 从他们的开源网络爬虫项目(Apache Nutch)中分离出分布式文件系统以及 MapReduce 设施,把它当作一个子项目,并称其为 Hadoop。Cutting 发表了他动情地回顾了自己与 Hadoop 故事,并提出了对未来的展望
  • 人工智能再显身手,谷歌AlphaGo 战胜李世石:Google 旗下DeepMind 出品的AlphaGo 连胜三局(五局三胜制)战胜韩国职业棋手围棋九段李世石。这将是人工智能领域的又一里程碑事件。另外,2016 年底,神秘的Master 给我们带来了精彩续集: 60 胜 0 负!谷歌承认 Master 是 AlphaGO

大数据技术继续蓬勃发展

以 Hadoop 和 Spark 为代表的大数据技术生态系统继续发展壮大。

  • Hadoop 3.0 新特性预览:Hadoop 3.0 中引入了一些重要的功能和优化,包括 HDFS 可擦除编码、多 Namenode 支持、MR Native Task 优化、YARN 基于 cgroup 的内存和磁盘 IO 隔离、YARN container resizing 等
  • Apache Spark 2.0.0 发布,APIs 更新:Apache Spark 2.0.0 发布了,Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载
  • Apache Beam 将统一大数据平台的开发:一直以来,大数据开发涉及到各种框架,比如,Hadoop、Storm、Spark 和 Flink 等,基于这些框架的开发要求的技术栈都各不同,这对开发者来说开发成本比较高,在 Beam 的统一下可以实现写一个程序既能在 Hadoop 中运行又可在 Spark 中运行

巨头相继开源机器学习框架

  • Facebook 开源深度学习框架 Torchnet ,相比其他巨头自己搭建的深度学习框架,Torchnet 更加开放,也将大幅推进深度学习的应用普及
  • LinkedIn 开源机器学习库 Photon :Photon 机器学习支持 Apache Spark,通过结合 Spark 快速处理海量数据的能力和强大的模型训练和诊断工具,Photon 机器学习提供给研究型工程师更多的信息来决策使用哪类推荐系统算法
  • Microsoft 开源其深度学习工具包 CNTK :CNTK 是一个统一的深度学习工具包,它通过一个有向图将神经网络描述为一系列计算步骤。在有向图中,叶节点表示输入值或网络参数,边表示输入之上的矩阵运算。CNTK 使得实现和组合前馈型神经网络 DNN、卷积神经网络(CNN)和循环神经网络 (RNNs/LSTMs) 变得非常容易。实现了支持跨多个 GPU 和服务器自动分化和并行化的随机梯度下降(SGD)学习
  • 亚马逊 AWS 推出人工智能服务:与微软谷歌竞争:亚马逊举行发布会宣布,旗下云服务 Amazon Web Services(以下简称“AWS”)增加人工智能服务,可以让开发者在应用中增加预测和分析功能
  • Google 已经于 2015 年底开源 TensorFlow,并于 2016 年继续完善

巨头竞相收购人工智能公司

Google,Facebook,Microsoft 相继表示,未来将更加重视 AI,除了开源了以上的机器学习框架,还分别投入巨资收购了一些人工智能公司和人才。

国内的发展

大数据技术

以华为,百度,阿里为代表的巨头在开源领域纷纷取得巨大进展。

人工智能

2016 年可以说是人工智能真正成为主流的元年,人工智能成为了非常热门的概念。AlphaGo 大战李世石等事件,甚至引发了一些机器人取代人、危害人等消极观点。

其他的进展

  • 2016 是无人驾驶转折年:科技巨头纷纷入场:2016 年,无人驾驶逐渐成为“风口”,各大车企和创投都将目光投向这一领域。无人驾驶,让科幻片中才有的黑科技似乎一下子离大众或许只有几步之遥
  • 现在 Google 制造自己的芯片,Intel 要发疯:Google 的目标始终未变:空前的高效。为了让 AI 技术跃上一个新高度,他们需要一种能在更低能耗前提下,用更短时间完成更多任务的芯片。但这个芯片所产生的效果已经超越了 Google 帝国本身,甚至让 Intel 和 nViaia 这样的商业化芯片制造商的未来受到威胁,尤其是考虑到 Google 对于未来的愿景
  • 英伟达 20 亿美元豪赌人工智能:20 亿美元是什么概念?英伟达去年全年的营业收入也才 50 亿美元出头,所以英伟达用了几乎一半的全年收入投入到这一款芯片的研发中,这背后的原因是,英伟达看中了人工智能领域未来的发展

推荐阅读

作者简介

丁涛是一名软件工程师,目前就职于京东商城。专注于后端 / 服务端开发、架构设计,关注架构设计、大数据、人工智能领域的发展


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-02-02 18:004266
用户头像
丁涛 越努力,越幸运

发布了 35 篇内容, 共 10.3 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

快速入门案例实战:电商网站商品管理(一)

escray

elasticsearch elastic 28天写作 死磕Elasticsearch 60天通过Elastic认证考试

备战2O2I新年资料

ios 面试

springboot整合Shiro

Java架构师迁哥

阿里P8内部架构核心学习知识笔记在各大互联网上流传,限时开放下载

Java架构之路

Java 程序员 架构 面试 编程语言

electron实战练习-三个文件实现一个命令行终端

OBKoro1

node.js Electron electron实战 命令行终端 electron学习

最近线上发生的两个坑爹锅

艾小仙

后端

GrowingIO Design 组件库搭建之开发工具

GrowingIO技术专栏

设计 大前端

阿里中间件团队技术官手撸笔记,全新演绎“Kafka部署实战”,已开源

Java架构之路

Java 程序员 架构 面试 编程语言

WebRTC ICE 状态与提名处理

阿里云CloudImagine

阿里云 WebRTC 通信 流媒体开发 流媒体传输

低代码开发平台的技术路线

Sam678678

架构师训练营第二周作业 - 命题作业

阿德儿

架构师训练营第二周作业 - 学习总结

阿德儿

安卓开发在线!字节跳动Android研发岗这些知识点内部泄露出来了,已拿到offer

欢喜学安卓

android 程序员 面试 移动开发

细节决定成败!致Android高级工程师的一封信,实战解析

欢喜学安卓

android 程序员 面试 移动开发

数字货币量化对冲搬砖套利交易软件APP系统开发

系统开发

Redis 用的很溜,了解过它用的什么协议吗?

古时的风筝

redis RESP Redis 协议

TRX智能合约系统开发案例详解

我以为自己够牛逼了,直到看到了Alibaba专家的面试笔记,我学习了三个月,却入职京东,税前36K

Java架构之路

Java 程序员 架构 面试 编程语言

量化交易系统开发软件源码

一周信创舆情观察(1.4~1.10)

统小信uos

mysql字符串字段索引优化

瞌睡的李先生

MySQL 索引

普通人必须掌握的五个必学理财知识

v16629866266

图解 | 原来这就是网络

编程 网络 计算机

Java 程序经验小结:用私有构造器或者枚举类型强化Singleton属性

后台技术汇

28天写作

新思科技静态应用安全测试解决方案获得Forrester Wave认可

InfoQ_434670063458

新思科技 Forrester Wave 静态应用安全测试

废弃fastjson!大型项目迁移Gson保姆级攻略

Zhendong

Java json Gson Fastjson

又出神作!阿里技术官再出山,操作性超强的Spring事务+AOP实践手册

比伯

Java 编程 程序员 架构 面试

keycloak集群化的思考

程序那些事

架构设计 架构师 权限系统 程序那些事 集群服务

币值管理机器人系统开发|量化交易系统开发

W13902449729

币值管理机器人系统开发 量化交易系统开发

龙归科技 |企业办公自动化的未来

龙归科技

盘点2020 | 人生是一场马拉松-OBKoro1的2020年年终总结

OBKoro1

2020 大前端 年终总结 OBKoro1

大数据与机器学习 2016年大事记_大数据_丁涛_InfoQ精选文章