写点什么

大数据与机器学习 2016 年大事记

  • 2017-02-02
  • 本文字数:2922 字

    阅读完需:约 10 分钟

前言

不知不觉间,2016 年已然过去,2017 年已经到来。蓦然回首,我们发现在过去的一年,大数据和人工智能领域的发展让我们眼花缭乱,应接不暇,待我为大家梳理一番。

标志性大事件

  • Apache Hadoop at 10 :Hadoop 诞生 10 年了。2006 年 1 月 28 日,Doug Cutting 和 Mike Cafarella 从他们的开源网络爬虫项目(Apache Nutch)中分离出分布式文件系统以及 MapReduce 设施,把它当作一个子项目,并称其为 Hadoop。Cutting 发表了他动情地回顾了自己与 Hadoop 故事,并提出了对未来的展望
  • 人工智能再显身手,谷歌AlphaGo 战胜李世石:Google 旗下DeepMind 出品的AlphaGo 连胜三局(五局三胜制)战胜韩国职业棋手围棋九段李世石。这将是人工智能领域的又一里程碑事件。另外,2016 年底,神秘的Master 给我们带来了精彩续集: 60 胜 0 负!谷歌承认 Master 是 AlphaGO

大数据技术继续蓬勃发展

以 Hadoop 和 Spark 为代表的大数据技术生态系统继续发展壮大。

  • Hadoop 3.0 新特性预览:Hadoop 3.0 中引入了一些重要的功能和优化,包括 HDFS 可擦除编码、多 Namenode 支持、MR Native Task 优化、YARN 基于 cgroup 的内存和磁盘 IO 隔离、YARN container resizing 等
  • Apache Spark 2.0.0 发布,APIs 更新:Apache Spark 2.0.0 发布了,Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载
  • Apache Beam 将统一大数据平台的开发:一直以来,大数据开发涉及到各种框架,比如,Hadoop、Storm、Spark 和 Flink 等,基于这些框架的开发要求的技术栈都各不同,这对开发者来说开发成本比较高,在 Beam 的统一下可以实现写一个程序既能在 Hadoop 中运行又可在 Spark 中运行

巨头相继开源机器学习框架

  • Facebook 开源深度学习框架 Torchnet ,相比其他巨头自己搭建的深度学习框架,Torchnet 更加开放,也将大幅推进深度学习的应用普及
  • LinkedIn 开源机器学习库 Photon :Photon 机器学习支持 Apache Spark,通过结合 Spark 快速处理海量数据的能力和强大的模型训练和诊断工具,Photon 机器学习提供给研究型工程师更多的信息来决策使用哪类推荐系统算法
  • Microsoft 开源其深度学习工具包 CNTK :CNTK 是一个统一的深度学习工具包,它通过一个有向图将神经网络描述为一系列计算步骤。在有向图中,叶节点表示输入值或网络参数,边表示输入之上的矩阵运算。CNTK 使得实现和组合前馈型神经网络 DNN、卷积神经网络(CNN)和循环神经网络 (RNNs/LSTMs) 变得非常容易。实现了支持跨多个 GPU 和服务器自动分化和并行化的随机梯度下降(SGD)学习
  • 亚马逊 AWS 推出人工智能服务:与微软谷歌竞争:亚马逊举行发布会宣布,旗下云服务 Amazon Web Services(以下简称“AWS”)增加人工智能服务,可以让开发者在应用中增加预测和分析功能
  • Google 已经于 2015 年底开源 TensorFlow,并于 2016 年继续完善

巨头竞相收购人工智能公司

Google,Facebook,Microsoft 相继表示,未来将更加重视 AI,除了开源了以上的机器学习框架,还分别投入巨资收购了一些人工智能公司和人才。

国内的发展

大数据技术

以华为,百度,阿里为代表的巨头在开源领域纷纷取得巨大进展。

人工智能

2016 年可以说是人工智能真正成为主流的元年,人工智能成为了非常热门的概念。AlphaGo 大战李世石等事件,甚至引发了一些机器人取代人、危害人等消极观点。

其他的进展

  • 2016 是无人驾驶转折年:科技巨头纷纷入场:2016 年,无人驾驶逐渐成为“风口”,各大车企和创投都将目光投向这一领域。无人驾驶,让科幻片中才有的黑科技似乎一下子离大众或许只有几步之遥
  • 现在 Google 制造自己的芯片,Intel 要发疯:Google 的目标始终未变:空前的高效。为了让 AI 技术跃上一个新高度,他们需要一种能在更低能耗前提下,用更短时间完成更多任务的芯片。但这个芯片所产生的效果已经超越了 Google 帝国本身,甚至让 Intel 和 nViaia 这样的商业化芯片制造商的未来受到威胁,尤其是考虑到 Google 对于未来的愿景
  • 英伟达 20 亿美元豪赌人工智能:20 亿美元是什么概念?英伟达去年全年的营业收入也才 50 亿美元出头,所以英伟达用了几乎一半的全年收入投入到这一款芯片的研发中,这背后的原因是,英伟达看中了人工智能领域未来的发展

推荐阅读

作者简介

丁涛是一名软件工程师,目前就职于京东商城。专注于后端 / 服务端开发、架构设计,关注架构设计、大数据、人工智能领域的发展


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-02-02 18:004245
用户头像
丁涛 越努力,越幸运

发布了 35 篇内容, 共 10.3 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

对话 Kyligence 韩卿:一个创业者的「+大模型」中场故事

Kyligence

数据分析 大模型 数据赋能

Databend 开源周报第 124 期

Databend

C 语言:类型转换与常量的细致理解

小万哥

c c++ 程序人生 后端 软件开发

AWS计算和网络副总裁Dave Brown:亚马逊AWS为什么同意 Nvidia 的云端合作?

B Impact

一行代码修复100vh bug | 京东云技术团队

京东科技开发者

CSS 前端 移动视口错误 100vh

好用的时间任务管理:Omnifocus 4激活中文最新版

胖墩儿不胖y

Mac软件 任务管理器

CMOS电源稳压器LDO

芯动大师

游刃有余:玩转Java泛型

FunTester

如何将小程序运行在App中完成灰度测试?

FinFish

小程序转app 小程序技术 灰度测试

打卡智能中国(七):AI的小城故事

脑极体

AI

网络安全事件频发现状

尚思卓越

网络安全

Keepalived+Nginx+Tomcat配置高可用负载均衡系统示例

小明同学的学长

MLOps在极狐GitLab 的现状和前瞻

极狐GitLab

DevOps gitlab CI/CD MLOps

第32期 | GPTSecurity周报

云起无垠

Kafka核心逻辑介绍 | 京东云技术团队

京东科技开发者

云计算 kafka 消息队列

十问ByteHouse:如何基于ClickHouse玩转向量检索?

字节跳动数据平台

数据库 大数据 云原生

生成式 AI 的落地焦虑,亚马逊云科技如何破解?

Lily

探索MySQL:开源、高性能与可定制化的数据库管理系统

小魏写代码

HarmonyOS:Neural Network Runtime对接AI推理框架开发指导

HarmonyOS开发者

HarmonyOS

性能加速包: SpringBoot 2.7&JDK 17,你敢尝一尝吗 | 京东物流技术团队

京东科技开发者

HamronyOS自动化测试框架使用指南

HarmonyOS开发者

HarmonyOS

Kyligence 发布数据和分析领域垂直大模型司南(Compass)

Kyligence

数据分析 司南大模型

迈向高质量发展!用友iuap助力央国企升级数智底座

用友BIP

数智底座

Intellij 2023.3Groovy项目报错缺陷分享

FunTester

亚马逊云科技助力企业数字化转型,生成式AI时代下制定数据战略

Lily

Programming Abstractions in C阅读笔记:p235-p241

codists

软件开发

Geek_8da502

全国巡展“2024人工智能展·世亚智博会”3月上海·4月杭州·6月北京

AIOTE智博会

智博会 上海智博会 世亚智博会 杭州智博会 北京智博会

一招砍成本、四档提效率,建设智能工厂成就智造企业

用友BIP

智能工厂

大数据与机器学习 2016年大事记_大数据_丁涛_InfoQ精选文章