专访中国移动大云项目技术架构师钱岭博士

  • 霍泰稳

2010 年 7 月 1 日

话题:技术管理移动架构云计算DevOps语言 & 开发

钱岭,博士,2001 年毕业于清华大学计算机课学与技术系,主修软件工程方向。毕业后加入贝尔实验室基础科学研究院,于 2007 年底加入中国移动通信研究院,先期从事移动广告平台研究,随后加入大云项目组,担任技术架构师,同时也负责子项目 HugeTable 的研发和应用,期间申请多项发明专利,并发表两篇学术论文。在前不久举行的第二届中国云计算大会上,中国移动发布了大云 1.0 版本,获得业界的关注。近日 InfoQ 中文站编辑有幸就中国移动研发的大云项目和钱岭进行了沟通,主要探讨了大云项目介绍、和其他云服务的区别,以及云计算中的安全问题等。

InfoQ:很多读者对中国移动大云还不是很了解,请建议介绍一下该项目,以及其应用现状等。

钱岭:用一句话来概括,大云是一个云计算平台。从技术上来看,这个云计算平台主要分为两部分,一部分用来帮助解决后端数据的分析问题,另外一部分帮助解决前端的业务交易问题。两个部分的侧重点不一样,对于中国移动来说,因为用户量和业务量巨大,而且数据一般都要求存储很长的时间,这导致我们的后台服务器压力很大。我们慢慢发现传统的技术架构可扩展性不是很好,在用户数据达到一定程度之后,我们能够做得就是再购买性能更好的服务器,从而陷入到一个恶性循环。这个问题从前国外的运营商遇到过,我们也是一样,现在随着 3G 的普及,互联网业务的增多,传统的架构显然已经不能满足巨量数据存储和分析的要求。我们希望能够在这个平台上借助一些云计算工具来帮助我们优化服务器的效率。简单来说,大云项目是中国移动为了解决在业务支撑系统中存在的计算、存储能力不足等问题,以及为打造新型互联网业务平台的一次研发实践。目前大云已经在中国移动内部的一些支撑系统等应用领域进行试点和应用!

InfoQ:大云和Google App Engine以及亚马逊的EC2等平台相比,有什么区别?

钱岭:具体到 Google 的 App Engine、亚马逊的 EC2 的后端架构的设计和实现没有完全公开。大云目前是既具备后台分析能力,也具备前端交易能力,比如存储、交易、管理等,在使用上和 EC2 没有本质区别。另外我们也在为大云平台开发相应的接口,在未来一段时间内也会逐渐提供给用户使用。具体来说,大云的前端是一个弹性计算的架构,提供基础设施的服务,包括接口和具体操作;在后端提供一个 PaaS 平台,来做分析运算等。

InfoQ:在第二届云计算大会大云的项目发布会上,我们看到很多政府官员也到了,他们对云计算的态度如何?

钱岭:现在各国政府都希望引入和引领云计算,中国政府也不例外。目前中国很多城市都出现了云计算中心,预计今后政府会从行业、部门层面来引导云计算的进一步发展。大云项目对政府而言是一个很好的技术案例,可以告诉大家云计算是如何落地和实践的。

InfoQ:大云项目的硬件设施的规模如何,软件架构主要采用了什么技术,目前中国移动在大云上有多大的投入?

钱岭:目前整个大云项目的硬件设施达到 1024 个计算节点,包括一些安全设备,如防火墙;架构设计方面采用开源和自研相结合的模式,比如后端的数据分析存储平台就用了开源的 Hadoop 系列,当然我们并没有完全照搬它们,我们选用了像 MapReduce、Hive 等比较成熟的产品,并加以改进优化,在数据虚拟化和交易方面,我们使用了 REST 架构,为平台提供了一些自服务的能力,可以让其有很好的可扩展性。到目前为止,中移动研究院已经在大云平台投入了 3 年多的研发 。

InfoQ:如何让用户信任中国移动的云计算平台?

钱岭:首先中国移动的品牌是毋庸置疑的,另外也在基于大云平台做一些实际应用项目和试点,具体情况我请大家拭目以待,大云项目从立项到现在已经进行了 3 年多的时间了。虽然在云计算方面,中国移动不是做得最早的,很多互联网公司都比我们做得早,但是他们的特点是多默默地自己用,很少做宣传。而中国移动有一个很大的愿景,就是通过大云来推动整个产业的发展,将整个产业链都纳入进来,使得相关的技术都能够得到改进和调整,从而让整体的 IT 运营成本下降。换句话说,这是一个长期的项目,我想这也是取得客户信任的一个很重要的因素。

InfoQ:目前大云1.0已经和很多企业进行了合作,邀请他们使用,大云主要帮助他们解决了哪些问题?

钱岭:比如有个合作单位将其内部的应用全部迁移到大云的弹性计算平台,来通过虚拟化技术提高其硬件利用率和管理能力。还有的企业将其在线应用通过视频和动画的方式来展现,运算量很大,这种应用也比较适合使用弹性运算的平台。另外,将来中国移动的大云发展到一定规模的时候,也可能会支持我们自己的在线业务,比如社区、邮箱、说客等业务,这些业务和其他互联网应用有着同样的需求,比如可扩展、在交易的时候需要运算能力非常强等。或者是如果某个机器坏了,可以马上使用其它机器上的备份等。畅想一下,在未来,相信很多业务系统都会放在云计算平台上。

InfoQ:安全问题一直伴随着云计算的发展,不论是用户隐私数据还是企业关键数据等,大云如何让企业和用户安全使用其服务?

钱岭:坦白来说,安全问题目前还没有很好的解决方案,有一些交易式平台通过加密来保护隐私,但是对于数据分析系统则较为困难。现在一提到云计算,就提到服务器,于是安全问题也就转移到如何保护服务器的安全性上来了。要保证每个服务器的安全,这涉及到加密和授权的问题,所以说,对于云计算平台的安全问题很大程度上还是软硬件方面的管理问题。这也是目前我们在进行中的一个研究课题。

InfoQ:最后我们来谈一下大云在未来一段时间主要会对其自身做哪些优化。

钱岭:未来我们会在数据安全性、应用能力上做针对性的研发。比如现在我们的很多用户已经习惯了传统的解决方案,要让其迁移到云计算平台,单就易用性方面来说就不是件容易的事情。另外兼容性也是很大的问题,这个是历史遗留问题了,因为很多企业软硬件配置方面存在很大的差异。还有,就是性能优化,如果都是用 MapReduce 等技术的话,运行速度上还是存在问题,这样的性能我们是不能接受的。最后一点是和技术关系不大的,就是为了让整个产业链中的厂商都能够尽早转移到对云计算平台的支持上,我们还需要打消他们的疑虑,告诉他们转变的好处。这就好比人类发明了电灯泡,绝大部分人都很高兴,除了生产蜡烛的厂商。我们希望再有一年左右的时间,到大云 2.0 的时候,上面所提到的这些问题都能得到很大的改观。

技术管理移动架构云计算DevOps语言 & 开发