佘坤:大数据在努比亚的应用

阅读数:96 2019 年 10 月 7 日 13:55

佘坤:大数据在努比亚的应用

我们每一天都在使用手机,手机成为大家日常离不开的一样物品。

手机的数据在后台是怎样处理和运作的?
成千上万条数据又是怎么被筛选和分类的?
手机使用过程中极致快速的体验从何而来?

NIUDAY 深圳站中,努比亚技术有限公司互联网产品开发部部长佘坤博士为大家分享了“大数据在努比亚的应用”。

佘坤:大数据在努比亚的应用

大数据在努比亚的应用

01 传统手机厂商做互联网业务有一定的特殊性

互联网公司在最初创立时,都会为自己的产品选择一个用户群体。但绝大部分用户是与手机用户高度重合的,作为互联网企业,没有办法去选择自己的用户。

以努比亚为例,99.9% 都是努比亚的用户。一方面,是有好处的。基于努比亚手机品牌的定位,用户群体非常优质,其中平均年龄大概在 26 - 28 岁,男性占多数。也就是说,游戏可以很好的卖给这些用户。但另一方面,却没办法选择自己的用户。因此,做业务就只能是基于更好的理解用户。

从互联网业务开启之初,努比亚就把基于用户洞察的精细化经营作为互联网的根本策略。

02 大数据是实施经营策略的关键工具

大数据已经深入到各个层次的产品体系,在大数据发展的目标金字塔里:

佘坤:大数据在努比亚的应用

最基础的是数据基础平台。把用户在手机上产生的海量数据收集并加以加工,为用户提供唯一的标识,对各个业务的运行情况进行监控。比如你的用户是稳步增长还是增长受挫,以及基于此的用户体验。

其次是精细化的经营和运营。比如个性化推荐,是基于对用户的了解,选取我们或合作伙伴的潜在客户,精准地把产品信息通过广告送达给他们。

再上一层是市场洞察。基于对用户和业界的了解,努比亚能输出一些手机市场或者业务市场的行业分析报告。努比亚不是专业的数据公司,这样的报告虽然不会成为一个专门的产品,但可以给手机内部了解市场提供很好的参考。

再接着是经营分析。努比亚的大数据平台,不光是服务于互联网业务,也服务于整个手机产品。基于趋势分析可以了解到,比如:某一款手机在市场上反应如何?它是否要推出下一代?这个系列是否有很好的市场潜力?

最后是公司的战略分析,也是基于大数据平台做出的。

03 努比亚的大数据平台

基于以上的发展目标,在努比亚体系里,大数据平台成为了独立的产品。

大数据平台的产品架构及产品模块:

佘坤:大数据在努比亚的应用

完整体系是:从基础的计算平台、数据采集、分析、开发和管理以及基于此上的分析工具。像各个业务的一些经营报表,都是通过大数据平台生成。应用引擎的重点是搜索、广告、推荐等,目前已经集成到各个业务模块中。整个业务是以这样的产品模块组成的。

大数据平台的业务架构:

佘坤:大数据在努比亚的应用

业务架构说明大数据平台自身业务的组成情况,这里有接入服务、存储和计算、平台服务、产品层。努比亚的各个互联网业务体系相互之间是关联的,包括帐号和监控系统,都是和大数据平台紧密结合在一起,从而实现前面讲到的发展目标。

大数据平台的技术架构:

佘坤:大数据在努比亚的应用

关于技术架构,很多技术是业界通用的,这里用的是一个比较成熟的方案。在此基础之上,主要做的工作:一方面是把它进行集成,另一方面是进行优化。比如调度,努比亚本身的用户规模还不算太大,服务器规模也并不大,现在基本是基于云主机。怎么样充分利用云上的计算资源,是一个很重要的课题。接触过大数据的都知道,数据计算量是非常大的,因此我们在任务调度、计算引擎上做了大量优化工作,之后会给到一组数字,是关于本身在性能上的情况。

佘坤:大数据在努比亚的应用

大数据平台现在是作为努比亚内部的一个系统,服务于努比亚自身的业务。但同时,为了自身业务部署开发的效率,也开发了一套给内部用的开发系统。一般的业务,关于大数据处理的需求,都可以利用上图所示的这套在线的基于 Web 的开发工具,通过组件的整合,完成相应的逻辑开发工作。

这是对性能进行优化的结果。目前大数据平台这个产品,投入的资源并不多:总共用了 9 台云主机。目前获得的性能已经在产品层面支撑起 50 个业务产品,总的数据量为 600T,每日新增数据 500G,计算任务是 2000 个。

基于最初大数据平台的产品目标,对用户的洞察和理解也是最重要的目标之一。现在的大数据平台,已经具备了对用户自动识别出相应标签的能力。比如像性别、年龄、教育程度,包括消费信用水平、家里是否有小孩,这样的用户标签可以通过用户数据进行识别。这些用户标签可以进一步使得本身的互联网业务更加智能,像推荐、广告以及社区服务,能更加精准贴近用户的需要。

下图为详细支持的标签属性:

佘坤:大数据在努比亚的应用

04 基于大数据平台的业务案例:应用推荐

关于应用推荐,所有应用市场都有这个功能。我们的应用推荐支持以下几个方面:

第一,猜你喜欢。根据用户之前的应用下载使用情况,推荐可能感兴趣的应用。

第二,相似推荐。比如你下载了一个王者荣耀,跟王者荣耀相似的有哪些应用。

第三,拓展推荐。安装了这个游戏的用户,还喜欢一些什么应用。

从各种维度向你进行推荐。这是业务应用推荐本身的能力。

应用推荐的模块架构:

佘坤:大数据在努比亚的应用

这个架构分为几个层次:

第一,候选级,形成召回集合。这里会综合利用以下数据,比如历史、实时、用户偏好,根据的是 CF,协同过滤,或者 CB,基于内容的推荐。也会利用行业热门或者相关信息,热门就是将下载最多的推荐给用户。这一层次最重要的是形成用户推荐级、候选级。

第二,是对候选级进行过滤。比如按照历史情况,已经下载安装了,就把它从机会里去掉,或者根据性别,例如男性对游戏和应用有明显的偏好,或者根据年龄、负行为反馈,比如你删了一类应用,这类应用就不会再推了。然后排序,第一屏被点击的可能性是最大的,再往后翻两三屏,基本不会再点击。一屏就只有 5 - 7 个应用,因此把用户最有可能喜欢和点击的应用排在前面非常重要。

第三,是 Rank,基于的算法是 CTR 和 CVR 的预估。CTR 是点击转化率,CVR 是点击价值率,即点击之后购买的比率。

第四,是融合层。一些被运营干预的排序结果,在融合层可以进行干预。

最后是 Rerank,进行最后的调整。基于自定义规则或者 Badcase 进行调整,或者多样化。比如应用推荐,某个用户很喜欢游戏,但却不能推荐的全是游戏,里面可以插入一些用户感兴趣的应用。或者如果连着几个都是同一类的游戏太单调,中间可以把排序结果打乱,插入其他类型,使得结果相对多样化。

应用推荐的技术流程:

佘坤:大数据在努比亚的应用

为什么说它是基于大数据平台的?这个应用推荐是基于大数据平台开发的应用,数据采集、数据处理等基础的能力都是由数据平台提供。作为应用推荐的应用,开发团队主要关注在算法层面上。这里的技术流程,主要是聚焦于算法方面。把收集上来的数据经过特征工程抽取行为,然后形成初始推荐级,再根据 CTR 和 CVR 的情况进行排序,最后生成推荐级。

算法涉及的相关技术领域:

佘坤:大数据在努比亚的应用

最基础的 Hadoop、Spark,前面都已用到。上面是相关的模型或者应用到的子系统。

这是应用推荐用到的一些算法:

佘坤:大数据在努比亚的应用

CB,基于内容的推荐;CF,用了 item-CF 和 Model-CF;CTR 预估,用了因子分解器、SVM;同时尝试引入机器学习算法,进一步加强应用推荐方面在 CVR、CTR 预估的性能,计划引入 L2R 和 FTRL。

目前推荐引擎的主要性能指标:

佘坤:大数据在努比亚的应用

和淘宝产品竞赛结果比对,可以让大家有一个基本的概念,目前也在不断探索和改进过程中。一般业界衡量推荐系统,主要是三个指标:准确率、召回率、综合评分。

那么关于准确率达到的 11% 是怎样进行衡量和计算的?把采集上来的用户数据分成两类:第一类叫训练级,是对算法引擎进行训练;另外一类叫做验证级。根据训练出的模型,预测训练级的用户可能会下载的用户,预测的准确率为 11%。召回率指的是,测试级中用户下载的应用处于通过计算、预估的结果中的大概 40%。最后综合评分是在 17.2%,这是努比亚目前能交出来的成绩单。

努比亚在 2012 年时,正式开始做手机品牌,之前一直是跟运营商做定制手机。对于互联网业务,努比亚的起步不是最早的一批,但目前随着良好、优质的用户群体,在互联网的发展还是非常快的,其中大数据平台起了至关重要的作用。

本文转载自公众号七牛云(ID:qiniutek)。

原文链接:

https://mp.weixin.qq.com/s/bB_ddE160apWASHiSLQTtQ

评论

发布