近观 Strata2014 大会

阅读数:924 2014 年 3 月 12 日 05:55

Strata 大会是 O'Reilly 出品的大数据为主题的会议,其口号是聚集领先的大数据思想,让数据工作(making data work)。目前国内大数据行业关注更多在基础架构方面,而国外已经将焦点转移到数据展示和数据挖掘。2014 Strata 大会在美国加州圣克拉拉市举行,不仅有深度的技术实践(演讲PPT 与视频),还能看到众多大数据巨头和创业公司很好的展示。

InfoQ 采访了 Intel 大数据平台团队的开发工程师钟翔,他以一名工程师的角度亲临了 2014 Strata 大会。以下为采访内容:

InfoQ:钟翔你好,向 InfoQ 的读者介绍下自己吧。

钟翔:我在 Intel 上海做英特尔大数据分发版,研发工程师,现在近三年了。

InfoQ:说说参加 Strata2014 大会的整体感受吧。

钟翔:会议规模非常大,参展商特别多,有 100 多家,代表性特别广,从这些参展商基本可以看出美国大数据的行业脉络和兴趣热点。

InfoQ:印象最深刻的是什么?

钟翔:印象最深的是参展商非常活跃。Strata 是行业大会,参会者彼此之间有点像是宣传与被宣传的关系。演讲中的技术干货有,但不是特别多,很多大小公司还是在宣传自己的产品,深度不够。

反观展台的参展商非常活跃,并且因为有 Demo 和一对一的介绍,可以问得比较深。总体感觉,国内大数据的兴趣主要还在基础架构平台这一层,数据保存、数据查询和数据处理等,普遍做的事情比较偏下层,而像相对上层的机器学习等只有少量的公司在做。美国很不一样,他们主要关心数据衍生的价值,很多大数据企业都在做两件事情:数据可视化和数据分析。这次参展商里估计有 60% - 70% 都是这类企业。数据可视化是指能够交互式的、探索性的展示数据,比如航班信息延时分析,会通过非常漂亮的交互式的图像展示。美国的公司非常在意数据可视化和数据分析,现在看起来已经成为一种风气。

比如上市公司 Datameer 善于做数据分析,和他们沟通中得知,他们有很多五百强客户。

一家有医疗服务业务的公司叫 YarcData,辅助医生做出诊断。医生只要输入病人的症状的描述,有 a 症状,有 b 症状,没有 c 症状,系统就会自动分析给出相应诊断。

还有一家做可视化的公司 Splunk,也是上市公司,他们的产品可以做日志数据的实时抓取和可视化展现,有了它,集群运维团队可以简单点几下鼠标就可以看到整个集群的状态。而且这个可视化是动态、实时、交互式的。

InfoQ:美国的这些大数据创业公司在哪些细分技术或领域做的更多?

钟翔:整体的分布刚才提到了,更关注数据分析和可视化。而在具体的技术点或细分领域,美国的创业公司并不像国内扎堆追某几个热点,它们涉猎更广,做的东西都比较独特。比如 Skytree 专注于提供优化的机器学习算法库,他们展示用这一算法库探测异常的天体。做基础架构平台的公司也有很多独特的地方,比如有的分布式数据库公司在数据节点层做热备份,从而实现高可用性。还有的公司在类 HBase 系统上建一层 cache,大幅提升读写性能。还有的公司把大数据集群,数据分析和可视化通通搬到公有云上,在云上做 BigData as a Service。所有这些公司的产品,可能技术不是太难,有些只需要对开源产品做少量改动,但他们确实解决了特定用户的特定需求。

InfoQ:的确,全方位的创新非常多。

钟翔:而且美国的公司非常强调用户体验,哪怕是几个人规模的创业公司,产品的用户体验都非常棒。还有一点很有意思,这些公司里面,很多都是学校的教授创办的,美国的学界和产业联系非常紧密,这点和国内不太一样。

InfoQ:哪些技术格外受关注?

钟翔:时间有限,只能参加一小部分。我比较感兴趣的首先是 Spark,会议第一天有半天时间关于 Spark 的培训,还有很多比较有趣的演讲。然后需要提下第一天的“Hardcore Data Science”全天的 Session,有很多实打实的技术和干货。比如 Google 分享了 Deep Learning,信息量很大,有一些实际的例子,解决的都是实际的问题,演讲和问答环节都非常务实,这一天还有 GraphLab 的 Alice 分享了她理解的机器学习的挑战,懂机器学习的人往往不懂数据结构,而懂数据结构的又不懂机器学习,她抽象出了 Flat Table 和 Graph 两类基础数据结构,对 Tool 开发者有很大启发意义。还有一个 Ben Hamner 分享的“Machine Learning Gremlins”总结了机器学习的雷区,非常有趣。

KeyNotes 里面引人注目的是 Intel 副总裁 Boyd Davis 宣布了新的产品 Intel Data Platform,将在 Hadoop 之外引入更多的 Apache 项目如 Spark、Shark、Kafka、Storm 等,以及高级的分析工具包。

收藏

评论

微博

用户头像
发表评论

注册/登录 InfoQ 发表评论