中国技术力量:京东技术十年磨一剑

  • 魏星

2015 年 11 月 13 日

话题:云计算大数据架构文化 & 方法AI双十一京东618

11 月 16 日,QCon 全球软件开发大会将在美国旧金山隆重开幕,17 日这天,由极客邦科技及 InfoQ 中国组织策划的中国技术开放日(ChinaTech Day)也将亮相大会,来自阿里巴巴、京东、腾讯、百度等国内一线互联网公司的技术专家,将作为中国技术力量的代表,向国外的参会者分享中国互联网的顶尖技术。京东集团技术副总裁兼首席科学家何刚博士作为国内著名的技术专家,将分享京东怎样通过云计算和大数据服务的方式,助力传统行业转型。京东从基础云、电商云和数据云三个方面,解决包括制造业、农业、金融、物流及农业等多个行业存在的一些问题。

自有业务全部入云

在 2014 年 9 月 18 日,京东对外宣布其自身的云战略,一年的时间里京东云先后帮助了大量传统企业踏上了互联网的快车道,在这个过程里京东自身信息系统和基础构架也有了很大的演进。“6∙18”之后,京东执行“换底计划”将自身全部业务悉数迁往京东云,这也是继美团之后又一个把自身业务全部云化的案例。除此之外,多交易中心系统和京东大脑计划也为这次双 11 大考添砖加瓦。

那么,京东全部业务入云的底气来自哪里?我们看到,在过去的十年里,京东先后在自身的 IT 系统里进行了诸多的改造。

  • 私有云技术体系建设:即京东基础云能力的建设。主要解决存储、缓存以及消息中间件的问题。并拟定了以“京东宙斯”、“京东云鼎”、“京东云擎”、“京东云汇”四大解决方案为核心的技术体系,来构建完整的电商云服务链条。
  • 电商云的三步走战略:这三步分别是,内部资源和能力的云化;培育电商应用生态;整合外部资源。

京东自身业务全部云化不亚于给传统行业吃了一颗定心丸,为什么这么说?首先我们来看看互联网 + 对企业意味着什么?对于一个企业来说,在网上发出自己的声音、刷新自己的存在是最基本、最简单的需求,网络营销已是企业必备的技能。更进一步,企业需要通过网络渠道销售自己的产品,缩减销售环节和分销成本,提高企业利润,如火如荼的 O2O 正是这一需求的真实反映。但是,这还不够。市场需求千变万化,没有哪个企业能够百分百地掌握市场规律,怎样把市场需求及时反馈到企业中,从而改变生产环节是所有企业都孜孜以求的目标。业务云化不再是一个需求,而是一种趋势。

最长、最真实的电商数据链及其价值

京东通过 12 年的积累,拥有从企业生产,到自身仓储、物流,再到用户消费行为的一整条完整的数据链。其数据链条的完整性和真实性令业界垂涎。当今,没有人会否认数据的价值。然而,大量企业拥有海量的数据,表面上看企业离数据很近,事实上他们离数据很远。因为这些数据的价值并没有被挖掘出来。通过对数据的采集、存储和分析,大数据能够做三件事:即高速人们,过去发生了什么,现在正在发生什么,以及将来会发生什么。这才是数据的核心价值。

那么京东是如何利用这些令人垂涎的数据的呢?

  • 物流数据的价值:中国电商竞争是白热化的,京东正是借助物流体系,打造了超凡的一体化购物体验,从而突出重围,成为自营 B2C 的领导者,可以说物流体系是京东的核心竞争力。在这场激烈竞争的背后,京东物流配送系统功不可没。
  • 交易数据的价值:京东交易系统主要经历了 5 个发展阶段(详见《京东技术解密》一书)。正是积累了大量的交易数据金矿,京东金融服务自然是水到渠成。目前京东金融在各个产品线(例如京东白条)上都得以大量采用。
  • 大数据挖掘:在庞大、复杂的业务逻辑下,京东商城生产了海量的结构化和非结构化数据。京东网站智能和商业化团队通过对自身业务、数据的理解和摸索,逐步形成、搭建了一整套基于开源 R 语言的数据挖掘框架,在此框架下支撑业务部门及产品部门的数据需求。
  • 个性化推荐:京东作为国内最大的自营 B2C 平台,目前个性化推荐成交的订单数已占到总量的 13%,这一数字还在不断增长。这其中,数据驱动的个性化推荐系统发挥着越来越重要的作用。

当然,以上各项大数据价值的挖掘离不开相应的大数据技术的应用

制造业普遍存在库存压力大、渠道冗长、效率低下、销售成本高等问题。要解决这个问题,首先要做的是消灭数据孤岛。为此,京东展开了跟腾讯合作的计划,从各方面把用户数据精准化。此外,从数据采集、存储到数据分析,包括实时分析、离线分析,京东逐步开放其能力,最终形成了一个完整的数据平台,来帮助企业轻松的进入大数据时代。京东提供大数据生态里面还对各行业定制化分析能力,把数据变成价值。中国市场一直是以产品交易和差价作为企业利润的主要来源,这是典型的以信息不对称的方式来赚钱,未来这种方式将变得越来越不可行。以市场为导向、以客户为中心正是大数据的价值,也是未来企业走向互联网 + 的必然选择。

规模空前的弹性云实践

在今年的 10 月份,京东位于廊坊的新数据中心部署完成并投入使用,至此所有在线应用在新机房都通过 Docker 技术进行发布,在生产环境上运行的 Docker 实例超过了 60,000 个。今年双 11 的弹性云集群规模比“6∙18”增长了 5 倍,随着双 11 弹性资源池的部署,这一数字将达到 100,000 个,这是目前世界上最大规模的 Docker 技术应用之一。毋庸置疑,京东在基础设施和弹性扩容能力方面的建设也取得了长足的进步。

  • 基础设施建设:京东以自主研发为主,开发了适合自己业务模式的存储系统——京东文件系统(JFS),并基于 JFS 向外提供私有云存储服务。消息队列的开发则经历了三个阶段。前两代是基于开源软件实现的,现在的产品是完全自主研发的 JMQ。在服务框架方面,进行了微服务化改造。
  • 容器弹性伸缩:弹性计算云是京东 2015 年研发部战略项目,它基于 Docker 简化了应用的部署和扩容,提高了系统的伸缩能力。目前京东的图片系统、单品页、频道页、风控系统、缓存、登录、团购、O2O、无线、拍拍等业务都已经运行在弹性计算云系统中。

随着应用的发展,针对服务的架构 SOA 日趋流行,功能结构和模块服务化在提高服务的性能方面更加灵活。正是有了大量的实践,在中国技术开放日(ChinaTech Day)上,国内众多知名企业如京东者,更能代表中国 IT 技术的力量,在世界舞台上一展风采。

开放的云能力与服务

传统企业有着非常强大的基础,京东认为,传统行业要想变成一个互联网生态产业,需要互联网的技术和互联网的思维的双重加速。基于我们京东内部需求,以及外部客户的沉淀,京东把内部的云计算、大数据等基础技术向全生态链的合作伙伴提供,帮助传统行业实现互联网 + 的技术架构和业务升级。

为此,京东将开放其基础云的能力、电商云的能力和数据云的能力。京东的基础云是一块基石,不但可以实现资源像水电煤一样按需索取,也是电商云和数据云的支撑。作为典型的电商企业,京东有很多创新业务,比如仓储、物流、配送系统,十几年的沉淀京东电商云把这些经验分享出来也是水到渠成。以“京东云擎”为例:

在京东电商云三步走的战略中,“京东云擎”正是这样一种拓展电商生态系统的PaaS 平台。其主要服务对象是个人开发者和京东的 ISV。在数据开放平台日益成熟的背景下,开发者都希望能简化部署、降低成本、提高生产力,京东 PaaS 平台很好地满足了开发者和 ISV 的这个需求。

业界一直存在这样的争论,到底叫“互联网 +”还是叫“+ 互联网”?京东更倾向于“+ 互联网”的叫法。这意味着传统企业要依靠自己的实力借助互联网这个工具实现升级转型,而非等着互联网去整合传统企业——互联网并不具备这个使命。为此,京东数据云能力的开放更弥足珍贵,毕竟数据的价值还远远没有被挖掘出来。

此次中国技术开放日(ChinaTech Day)将是中国 IT 企业登上世界舞台的第一步,也是京东、阿里巴巴、腾讯等优秀企业向世界展示中国先进 IT 技术的一次尝试,未来我们将组织更多的交流活动,让世界先进技术走进来,让中国技术力量走出去。


给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

云计算大数据架构文化 & 方法AI双十一京东618