Hadoop Summit 2016 欧洲峰会开幕 Keynote 回顾

  • 李扬

2016 年 4 月 14 日

话题:大数据语言 & 开发架构文化 & 方法AI

2016 年 4 月 13 日,都柏林的 Liffey 河畔,Hadoop Summit 2016 在 Convention 会展中心盛大开幕。以下是 Kyligence CTO 李扬在现场为我们带来的开幕 Keynote 回顾。

在可容纳 2000 人的 Auditorium 大厅,爱尔兰风十足的打击乐和踢踏舞过后,Hortonworks 总裁 Herb Cunitz 首先亮相。开场白很简单,除了强调与会人数和讲演场次的再攀新高,着重说明了为什么要在都柏林举办大会 -- 因为大家最爱的 Guinness 黑啤酒的产地就在都柏林!

第一个 Keynote 来自 Hortonworks CEO RobBearden,他的主题是“数据正在改变商业世界”。Hadoop 技术走过了十年,大数据不再是象牙塔和实验室里的玩具,它已经能切实地创造商业价值,深切地改变商业世界。零售商通过大数据技术做精准市场预测,洞察物流效率,每年可以节省 7000 万美元系统开支,营收增长 8%,利润增长 3%。保险公司通过实时分析司机的驾驶模式,动态计算行驶风险并奖励安全驾驶,带来每年 26 亿美金的保险金增长,减少 4% 的理赔损失。

之后 Hortonworks 联合创始人 Arun Murthy 登台,从技术角度展望 Hadoop 平台。HDFS 和 YARN 作为大数据的操作系统已经非常成熟,将来是中间件和上层应用百花齐放的年代。Apache Nifi 是集群系统之间的胶水,能实时和可视化地操控数据的流转和对接。Apache Range 和 Apache Atlas 一并可以实现基于标签的全局访问策略。最后 YARN.NEXT 技术可以根据应用的组装描述文件自动适配资源,部署集群应用,并自动伸缩,重新定义了 Hadoop 应用这一概念。原本的组件如 Zookeeper,Solr,Search UI 都弱化为应用的一个部分,不再是 YARN.NEXT 的一等公民。

此外 EMC 和微软也都做 Keynote,展示各自公司的大数据解决方案。其中微软提出的 Tiered HDFS 可以根据数据的特性(比如活跃度)透明地在多种性价比不同存储介质之间移动数据,同时保证就近计算的原则。

最后 Emer Coleman 女士关于 Technoethics(技术伦理学)的演讲将 Keynote 环节提升到了一个新的高度。大数据和人工智能技术一旦被滥用,将对整个人类社会造成及其可怕的后果,这不是科幻小说里的妄想,而很可能正在我们身边发生。我们应当立即行动,为技术伦理制定规范。

作者介绍:李扬,Kyligence 联合创始人兼 CTO,Apache Kylin 联合创建者及项目管理委员会成员 (PMC), 主创团队架构师和技术负责人,专注于大数据分析,并行计算,数据索引,关系数学,近似算法,压缩算法等前沿技术。曾任 eBay 全球分析基础架构部大数据资深架构师、IBM InfoSphere BigInsights 的技术负责人,负责 Hadoop 开源产品架构,“杰出技术贡献奖”的获奖者、摩根士丹利副总裁,负责全球监管报表基础架构。

大数据语言 & 开发架构文化 & 方法AI