Splunk 是一家专注于搜索、监控和分析机器生成的数据的公司,该公司最近宣布推出大数据分析平台 Hunk6.1 版本。
基于大数据进行广告分析并进一步为决策提供有用的数据,这是一件具有挑战性的事情。Hunk 为快速访问、分析和可视化 Hadoop 及其他 NoSQL 数据库的数据提供了一个平台以解决这些挑战。
我们可以把 Hunk 看做有点类似于 Hive 的软件: Hive 是一个开源 SQL 引擎,用于对 Hadoop 中的数据进行查询。Hive 和 Hunk 收到用户的查询任务时,会将它编译成一系列的 MapReduce 任务,并在集群上运行。
- Hunk 使用的是 Splunk 的 Search Processing Language (SPL)语言,而不是 SQL。
- Hunk 不需要事先定义模式,而是在查询任务执行的时候创建模式。
- Hunk 不需要等 MapReduce 任务完成之后再展示结果。为了提供更好的用户体验,Hunk 在 MapReduce 在后台运行时,通过流的方式展示中期结果。
- 除了查询引擎之外,Hunk 还包括了一个内置的可视化层,用户可以通过他们自己的搜索结果创建图表并进行保存。
6.1 版本的 Splunk 增加了一些新功能:
- 报告加速:在 Hadoop 中缓存搜索结果,缩短报告响应时间,提升性能。该功能可以针对单独报告启用。
- 仪表板和图表现在具备了可交互性:支持图表叠加、平移和缩放控制,以及下拉。
- 用户可以将图表和报告嵌入到第三方业务应用中。
- Hunk 不限于支持 Hadoop。流式资源库让开发者可以将Hunk 连到任何NoSQL 数据存储,比如 Apache Cassandra 、 MongoDB 和 Neo4j 。
- 通过通道授权改善安全性,管理者可以控制哪一个Hunk 的用户能够提交MapReduce 和访问 HDFS 文件。
- Hunk 添加了新的文件格式的支持,包括 sequence files 、 RCFile 、 ORC files 和 Parquet 。
查看英文原文: Splunk’s Hunk 6.1 Brings New Capabilities for Big Data Analytics
感谢杨赛对本文的审校。
给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。
评论