架构师(2015年10月)

本期主要内容:作为一名Java程序员,我为什么不在生产项目中转向Go,LinkedIn是如何优化Kafka的,深入浅出React(四):虚拟DOM Diff算法解析,Apache Calcite:Hadoop中新型大数据查询引擎,专访阿里钱磊:如何打造第三方的开放账号体系,OPPO Monitor Platform:从应用请求到后端处理,自研解决服务化架构系统监控难题
作者: InfoQ 中文站
下载此书

大数据的发展趋势和公司的战略部署

TalkingData CTO 肖文峰

半年前,TalkingData 服务器端每日接收的数据量呈现爆炸式增长的趋势,曾一度让我们的技术支撑团队猝不及防。从 2011 年 TalkingData 创立以来,在智能设备覆盖量上,从零到 10 亿用了整整 4 年,但是从 10 亿到 20 亿,只用了不到 8 个月的时间。我们的合作伙伴和客户对数据的理解大大加深,在使用数据的深度和广度上,相比 2014 年都有一个大的跨越。

2 个月前,国务院常务会议通过 《关于促进大数据发展的行动纲要》,从政府层面推动大数据的开放和共享,为大数据的创业创新提供强大的动力,掀起一股新的大数据热潮。

1 个月前,TalkingData 举办“T11 全球移动大数据峰会”,与行业同仁分享 4 年来在移动大数据应用方面的心得与经验。会议盛况空前,实际客流量超过计划的 3 倍。

如果说 2014 年,大家还处于畅谈大数据概念的层面,那么 2015 年,大数据已经进入落地的阶段。以 Talkingdata 为代表的大数据行业内的公司,已经在逐步消化积累的海量数据,将数据成果应用于各个传统的行业。在一些看似很“土”的行业,比如房地产、奢侈品等,大数据已经产生了实际的价值。

TalkingData 是一个以数据为核心的创业公司,其愿景是要用数据去改变企业做决定的方式,同时要用数据去帮助人们了解周围的环境。在未来,我们依然会继续深化我们的核心价值,聚焦在数据和数据的落地,总体说来有以下两点。

一是继续深入研究智能设备的传感器,包括传感器数据的处理算法,提升数据的深度和广度。过去一段时间,经常听到“场景化”的提法,场景化能够帮助开发者更准确的判断用户当前的状态和目的,把应用做得更加智能——如果知道“什么样的人在什么时刻做什么”的话,就很容易触发一些有针对性的功能、服务和内容,真正做到“应时应人应景”。比如,如果判断出司机是一个开车很暴躁的人,就给他打一个“激进驾驶员”的标签,这是对“什么样的人”的判断;当前是在下雨天,又是在高速公路上,这是对“什么时刻”的判断。当前正在驾驶中,这是对“做什么”的判断。一个激进的驾驶员,在比较危险的时刻正在驾驶中,这时候一些软件就可以提醒驾驶员,是不是减慢速度,听听音乐,缓解一下情绪,避免可能的风险。这里所有的判断,都是需要基于手机的传感器数据处理以后的结果来判断,有加速度传感器、GPS、光感、音量、温度等等。我们越来越发现,这些传感器的数据分析和处理,存在很高的门槛。比如像我们现在基于加速传感器去研究步态判断的算法,我们尝试好几种算法,K 均值、SVM、决策树等等,也包含综合一些算法进行投票的方法,在不同人群和不同机型上测试了很长时间,才算有一些相对满意的成果。我们希望帮开发者把这个脏活累活分担了,开发者基于我们的 SDK 可以轻松判断用户场景,提升用户体验。

二是如何把数据变得像水一样,能够高效流动。目前数据利用中还有较大的阻碍,比如数据量不够大、数据质量不够高、数据源之间很难匹配、敏感数据较难处理等,这些问题需要由专业团队处理。我们希望 TalkingData 能够成为数据的“水库”,不同来源的“水”(源数据)汇聚到 TalkingData 的“水库”,经过各种手段被加工处理,然后根据客户的不同需求提供不同水质和口味的水(面向用户场景的数据产品),有昂贵的西藏冰川 5100,也有普通的农夫山泉,还有便宜的批量桶装水。“水库”提供数据相关的公共服务,比如清洗、匹配、合规、脱敏、估值、交易等,降低数据交换的门槛。我们也会引入更多的数据合作伙伴,做更多的定向数据服务,探索更新的数据利用模式。我们会把战线推进到客户的现场去,和客户并肩解决问题。当然,研发团队架构也已经有了对应的调整。

经济的寒冬将迫使各行业利用大数据来优化运营、改善管理、降低成本、提升竞争力——这是大数据的春天。TalkingData 会和伙伴们携手并肩,直面挑战,共筑未来。

目录

观点

作为一名 Java 程序员,我为什么不在生产项目中转向 Go

推荐文章

LinkedIn 是如何优化 Kafka 的

专访阿里钱磊:如何打造第三方的开放账号体系

专题

深入浅出 React(四):虚拟 DOM Diff 算法解析

Apache Calcite:Hadoop 中新型大数据查询引擎

特别专栏

OPPO Monitor Platform:从应用请求到后端处理,自研解决服务化架构系统监控难题

亚马逊中国可下载本书的Kindle 版本

免费下载此书(PDF)
免费下载此书(ePub)
免费下载此书(MOBI)

收藏

评论

微博

发表评论

注册/登录 InfoQ 发表评论