写点什么

大数据与机器学习 2016 年大事记

  • 2017-02-02
  • 本文字数:2922 字

    阅读完需:约 10 分钟

前言

不知不觉间,2016 年已然过去,2017 年已经到来。蓦然回首,我们发现在过去的一年,大数据和人工智能领域的发展让我们眼花缭乱,应接不暇,待我为大家梳理一番。

标志性大事件

  • Apache Hadoop at 10 :Hadoop 诞生 10 年了。2006 年 1 月 28 日,Doug Cutting 和 Mike Cafarella 从他们的开源网络爬虫项目(Apache Nutch)中分离出分布式文件系统以及 MapReduce 设施,把它当作一个子项目,并称其为 Hadoop。Cutting 发表了他动情地回顾了自己与 Hadoop 故事,并提出了对未来的展望
  • 人工智能再显身手,谷歌AlphaGo 战胜李世石:Google 旗下DeepMind 出品的AlphaGo 连胜三局(五局三胜制)战胜韩国职业棋手围棋九段李世石。这将是人工智能领域的又一里程碑事件。另外,2016 年底,神秘的Master 给我们带来了精彩续集: 60 胜 0 负!谷歌承认 Master 是 AlphaGO

大数据技术继续蓬勃发展

以 Hadoop 和 Spark 为代表的大数据技术生态系统继续发展壮大。

  • Hadoop 3.0 新特性预览:Hadoop 3.0 中引入了一些重要的功能和优化,包括 HDFS 可擦除编码、多 Namenode 支持、MR Native Task 优化、YARN 基于 cgroup 的内存和磁盘 IO 隔离、YARN container resizing 等
  • Apache Spark 2.0.0 发布,APIs 更新:Apache Spark 2.0.0 发布了,Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载
  • Apache Beam 将统一大数据平台的开发:一直以来,大数据开发涉及到各种框架,比如,Hadoop、Storm、Spark 和 Flink 等,基于这些框架的开发要求的技术栈都各不同,这对开发者来说开发成本比较高,在 Beam 的统一下可以实现写一个程序既能在 Hadoop 中运行又可在 Spark 中运行

巨头相继开源机器学习框架

  • Facebook 开源深度学习框架 Torchnet ,相比其他巨头自己搭建的深度学习框架,Torchnet 更加开放,也将大幅推进深度学习的应用普及
  • LinkedIn 开源机器学习库 Photon :Photon 机器学习支持 Apache Spark,通过结合 Spark 快速处理海量数据的能力和强大的模型训练和诊断工具,Photon 机器学习提供给研究型工程师更多的信息来决策使用哪类推荐系统算法
  • Microsoft 开源其深度学习工具包 CNTK :CNTK 是一个统一的深度学习工具包,它通过一个有向图将神经网络描述为一系列计算步骤。在有向图中,叶节点表示输入值或网络参数,边表示输入之上的矩阵运算。CNTK 使得实现和组合前馈型神经网络 DNN、卷积神经网络(CNN)和循环神经网络 (RNNs/LSTMs) 变得非常容易。实现了支持跨多个 GPU 和服务器自动分化和并行化的随机梯度下降(SGD)学习
  • 亚马逊 AWS 推出人工智能服务:与微软谷歌竞争:亚马逊举行发布会宣布,旗下云服务 Amazon Web Services(以下简称“AWS”)增加人工智能服务,可以让开发者在应用中增加预测和分析功能
  • Google 已经于 2015 年底开源 TensorFlow,并于 2016 年继续完善

巨头竞相收购人工智能公司

Google,Facebook,Microsoft 相继表示,未来将更加重视 AI,除了开源了以上的机器学习框架,还分别投入巨资收购了一些人工智能公司和人才。

国内的发展

大数据技术

以华为,百度,阿里为代表的巨头在开源领域纷纷取得巨大进展。

人工智能

2016 年可以说是人工智能真正成为主流的元年,人工智能成为了非常热门的概念。AlphaGo 大战李世石等事件,甚至引发了一些机器人取代人、危害人等消极观点。

其他的进展

  • 2016 是无人驾驶转折年:科技巨头纷纷入场:2016 年,无人驾驶逐渐成为“风口”,各大车企和创投都将目光投向这一领域。无人驾驶,让科幻片中才有的黑科技似乎一下子离大众或许只有几步之遥
  • 现在 Google 制造自己的芯片,Intel 要发疯:Google 的目标始终未变:空前的高效。为了让 AI 技术跃上一个新高度,他们需要一种能在更低能耗前提下,用更短时间完成更多任务的芯片。但这个芯片所产生的效果已经超越了 Google 帝国本身,甚至让 Intel 和 nViaia 这样的商业化芯片制造商的未来受到威胁,尤其是考虑到 Google 对于未来的愿景
  • 英伟达 20 亿美元豪赌人工智能:20 亿美元是什么概念?英伟达去年全年的营业收入也才 50 亿美元出头,所以英伟达用了几乎一半的全年收入投入到这一款芯片的研发中,这背后的原因是,英伟达看中了人工智能领域未来的发展

推荐阅读

作者简介

丁涛是一名软件工程师,目前就职于京东商城。专注于后端 / 服务端开发、架构设计,关注架构设计、大数据、人工智能领域的发展


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-02-02 18:004255
用户头像
丁涛 越努力,越幸运

发布了 35 篇内容, 共 10.3 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

47K Star 的SpringBoot+MyBatis+docker电商项目,附超详细的文档

冉然学Java

数据库 项目 java; 编程、 源码学习

语音聊天app开发——开发人员如何进行代码分析

开源直播系统源码

软件开发 直播源码 语音app开发

MySQL 概念

武师叔

8月月更

苦熬三个月整理的spring全家桶PDF版限时分享,整整400页

Java工程师

Java spring Spring全家桶

北京零基础前端软件培训

小谷哥

Centos系统安装MySQL数据库

杨杰灵

MySQL 数据库

倪光南:openEuler已达国际同类社区水准

openEuler

开源 操作系统 openEuler

MASA Stack 第三期社区例会

MASA技术团队

Framework blazor

观测云入驻青云云市场,提升云上系统统一可观测能力

观测云

学习大数据开发技术后好找工作吗?

小谷哥

playwright录制脚本

和牛

测试 Python. 8月月更

深入Linux内核IO技术栈

C++后台开发

Linux内核 内核开发 驱动开发 嵌入式开发 内核操作系统

编译器工程师眼中的好代码:Loop Interchange

华为云开发者联盟

c c++ 开发 编译器

Github又火了!阿里重发系统设计核心原理全彩笔记,上线两天破百万阅读

Java工程师

Java 高并发

最具有中国特色的微服务组件!阿里新一代SpringCloud学习指南

JAVA活菩萨

Java 程序员面试 大厂技能 秋招 大厂面经

阿里P8整理的《百亿级并发系统设计》实战教程,实在是太香了

冉然学Java

数据库 编程 架构 分布式 并发系统设计

Python图像处理丨如何调用OpenCV绘制直方图

华为云开发者联盟

Python 人工智能

【计算讲谈社】第七讲|AI 的价值探索:如何拓展商业边界?

大咖说

人工智能 AI 商业边界

兆骑科创高层次人才创业赛事活动,创新创业人才引进平台

兆骑科创凤阁

【七夕限定盲盒抽奖】一文带你搞懂盲盒抽奖的页面配置

hum建应用专家

阿里云 Serverless 函数计算

企业为什么要数字化转型?数字化转型成功的案例有哪些?

优秀

数字化转型

AIRIOT答疑第7期|如何快速提升物联网项目交付速度?

AIRIOT

物联网

认识一下MRS里的“中间人”Alluxio

华为云开发者联盟

大数据 MRS

兵荒马乱,毕业季的故事

坚果

毕业 8月月更

专访容智信息柴亚团:最低调的公司如何炼成最易用的RPA?

王吉伟频道

RPA 机器人流程自动化 0代码 容智信息 柴亚团

【云原生】Spring Cloud是什么?Spring Cloud版本介绍

java李杨勇

Java spring cloud stream 签约计划第三季

培训机构与自学的优缺点都有什么

小谷哥

Jmix - 业务系统高效开发的少代码平台

世开 Coding

Java spring 快速开发平台 Jmix 少代码

Eclipse Debug FFmpeg

贾献华

8月月更

编译器工程师眼中的好代码(1):Loop Interchange

openEuler

开源 编译器 openEuler

大数据与机器学习 2016年大事记_大数据_丁涛_InfoQ精选文章