写点什么

国内首家!主导 Apache Hadoop 新版本发布的,是腾讯云这位小哥哥

  • 2018-06-13
  • 本文字数:1991 字

    阅读完需:约 7 分钟

看新闻很累?看技术新闻更累?试试下载 InfoQ 手机客户端,每天上下班路上听新闻,有趣还有料!

近日,腾讯主导的 Apache Hadoop2.8.4 最新版本发布,为国内科技公司在国际开源领域的探索迈出重要一步。

2006 年 Apache Hadoop 发布,2008 年 Hadoop 成为 Apache 顶级项目。在那时,中国移动、百度、淘宝等都已经开始使用 Hadoop 技术。Hadoop 现在早已成为 Apache 软件基金会的金牌项目之一。不仅如此,它还孕育了包括 HBase、Hive、ZooKeeper 等一系列知名 Apache 顶级项目,它们一开始都是以 Apache Hadoop 子项目的形式在社区运作、为开发者熟知的。

这次腾讯主导发布的 Apache Hadoop2.8.4 版本,涉及 20 多个大大小小的特性和优化,清单如下:

负责这一版本整体进度的Release Manager,是来自腾讯云产品部大数据及人工智能产品中心的专家研究员堵俊平,他同时也是Apache Hadoop 社区PMC 的成员。

Apache 软件基金会推崇 PMC 制度,每个开源项目都是一个 PMC,即项目管理委员会,可以自行决定技术发展方向和社区运作模式,但需要公开信息,并定期向 Apache 的董事会汇报,以便董事会监督。

成为 PMC 的成员可是非常不容易的事,必须要一步步“打怪升级”。要实现从一个普通的 Developer 到 PMC Member 的跨越,除了码代码以外,开源社区的组织能力也要强,是不是帅呆了?

堵俊平

腾讯 T4 大数据技术专家,曾任 EMC,VMware 资深研发工程师,Hortonworks 美国 YARN 团队负责人。深耕云计算,大数据方向 10 余年,在多个社区均享有极高知名度,包括 Apache Hadoop 社区 Committer & PMC,并领导 hadoop 2.6、2.8 等应用非常广泛的社区 release。曾领导开发多个 Hadoop 在云平台上优化与拓展的项目与产品。目前在腾讯致力于领导腾讯云大数据及人工智能产品研发工作。

小编采访了一下这位男神,接下来就让他给大家讲一下,这次新版本发布过程中的小细节吧。

很多人可能听说过“开源”,但了解不多,您可以简单介绍一下吗?

A:开源可以理解为“向公众开放源代码”。近几年来热度不减的大数据,就是由开源的软件来驱动整个产业生态的。这里就不得不提到一个里程碑式的开源产品——hadoop:从谷歌的三篇论文,到雅虎的 hadoop,开启了如今的大数据时代。

过去的系统软件主要是由闭源软件来驱动的。虽然像操作系统涌现出 Linux 这样优秀的软件,但后面的数据库和应用服务器,仍然几乎都是从闭源产品去驱动的。

hadoop 诞生后的这十年来,一直都是大数据生态的核心,它改变了以往的软件形式,成为了最主流的开源项目之一。现在基本上各家数据平台团队,都是在 hadoop 生态系统上小修小改,去支持大数据相关的业务系统,可以认为它是开源的一个标准吧。

与传统的闭源生态相比,开源有什么好处呢?

A:首先是避免“重复发明轮子”的问题,不同的个人和团体可以在公开的代码平台上集体创作,而不是封闭起来做重复的事情。其次是用户不必被绑架在特定的软件平台上,随时可以迁移应用和数据。最后是核心知识产权,比如以前的 IOE,不只是没有“中国芯”的问题,上面的应用软件和系统软件可能随时面临被人封锁的危险,而开源就不会有这个问题,它完全公开透明。另外,开源也鼓励公司规划长线的技术投资,而不只是短线的利益操作。

腾讯这次主导阿帕奇社区 hadoop 新版本的发布,在国内算是首次吗?

A:对,以前都是由微软、Hortonworks 和 Cloudera 等国外大数据厂家轮流坐庄,而这个版本是第一次完全由国内的公司来支持的。从技术号召力或者对整个开源社区的影响力来说,可以鼓励国内的开发者和公司更积极地参与开源项目贡献,勇于承担更大的责任,更多地回馈开源社区。

给整个社会也带来了哪些积极的影响呢?

A:首先,大数据软件属于基础技术,这次平台是由腾讯做技术主导的,在国内算是一个突破。其次,对于开发者社区来说,也是比较可靠的一个社区、最热门的项目。

最后,对于普通人来说,也是可以从中受益的。因为基础平台能力的提高,也伴随着数据处理能力的提高,可以让大家的生活更方便。大数据时代到来之前,可能没有那么多面向数据的业务,比如地图业务、O2O 业务、智能推荐系统等等。包括现在极具话题性的 AI 人工智能,如果没有大数据平台的进步,也是发展不起来的。

之前是有技术难关的限制吗?

A:过去十年,中国的互联网公司发展很快,大家都以追求业务为主,在技术或开源方面做得不够,这是我们相较西方的短板。国内很多公司其实也尝试过开源,但它只有开源的代码,没有开源的社区,也就是自己觉得某个产品做得不错,就把源代码开放出来而已。

源代码的开放和开源社区是两回事,区别就是你这个开源的代码,其它第三方(尤其是你的生态合作伙伴)有没有能力来参与。

现在整个大数据的热潮,其实就是被几款开源的核心软件所推动的。中国的这些大公司在具备了经济实力之后,也开始以开源为手段想要构造一个更好的生态。这可能需要一个过程,但大家已经慢慢意识到这些基础软件跟开源结合的重要性了。

2018-06-13 07:322060
用户头像

发布了 26 篇内容, 共 18.7 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

Swap丨DAPP开发:兑换交易所质押项目LP分红系统

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 NFT开发 代币开发

Web3 游戏周报(10.13 - 10.19)

Footprint Analytics

链游

拼多多商品详情数据接口使用方法

tbapi

拼多多商品详情接口 拼多多API

测试热招职位技能要求拆解公开课 — 开启你的软件测试进阶之路

测试人

软件测试

无需公网IP,贝锐花生壳内网穿透实现APP服务端API快速接入

贝锐

内网穿透 API 性能测试

DApp众筹项目互助模式系统开发详细步骤与功能设计

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 钱包开发 代币开发

比特币矿工该如何选择矿池?请收下这份 2024 年六大比特币矿池指南

TechubNews

低代码平台助力医疗业实现业务优化与合规管理:全面提升运营效率

天津汇柏科技有限公司

低代码平台

开源向量数据库性能对比: Milvus, Chroma, Qdrant

Zilliz

性能测试 Milvus 向量数据库 Chroma qdrant

VMware ESXi 8.0U3 HPE (慧与) 定制版更新 OEM BIOS 2.7 支持 Windows Server 2025

sysin

macos windows esxi OEM 2.7

CAE教程:HyperMesh概述与有限元分析简介

智造软件

仿真 hyperworks 有限元

计算不停歇,百度沧海数据湖存储加速方案 2.0 设计和实践

Baidu AICLOUD

大数据 hdfs 数据湖 对象存储

VMware Aria Operations 8.18 发布,新增功能概览

sysin

vmware aria Operations

API自动化测试平台:企业API管理的得力助手

RestCloud

API接口 ipaas api自动化 api自动化测试平台

Web网页端IM产品RainbowChat-Web的v7.2版已发布

JackJiang

即时通讯;IM;网络编程

Meta 最新 SPIRIT-LM:语音文本无缝转换还能懂情绪;字节回应实习生破坏大模型训练:网传损失不实丨 RTE 开发者日报

声网

VMware Cloud Director 10.6 发布,新增功能概览

sysin

vmware Cloud Director

冲击美团!已成功 OC

王中阳Go

Go 面试 后端

智源发布原生多模态世界模型Emu3 实现图像、文本、视频大一统

智源研究院

2024年游戏买量应该怎么玩?

FinFish

小程序容器 游戏买量 小游戏技术 快平台游戏买量

探索阿里巴巴中国站商品详情API返回值的多样性

技术冰糖葫芦

API Explorer API 文档 API 测试 API 性能测试

租用海外云手机应注意些什么?

Ogcloud

云手机 云手机群控 云手机推荐 云手机养号 跨境电商运营

望繁信科技荣获2022年度创新产品与解决方案大奖

望繁信科技

数字化转型 流程挖掘 流程资产 流程智能 数字北极星

VMware ESXi 8.0U3 macOS Unlocker & OEM BIOS 2.7 Dell HPE 定制版 9 月更新发布

sysin

macos windows esxi OEM 2.7

数字身份管理建设是传统社会向数字社会演进的核心关键

芯盾时代

数字身份 身份安全

【CCE Autopilot专栏】资源成本降低60%,Serverless的省钱秘籍

华为云原生团队

云计算 容器 云原生

按图搜索的智能化:拍立淘API返回值的算法解析

技术冰糖葫芦

API Explorer API 文档 API 测试 API 性能测试

喜报!Bonree ONE荣膺GOITI首个“可观测性领域年度明星产品奖”

博睿数据

华为云架构师深度解读Volcano云原生混部解决方案

华为云开发者联盟

云原生 Volcano 资源调度

国内首家!主导Apache Hadoop新版本发布的,是腾讯云这位小哥哥_开源_云加社区_InfoQ精选文章