免费下载!由 O’Reilly 出版的《NGINX 完全指南》中文版已正式上线 了解详情
写点什么

Mike Barlow 谈实时大数据分析

  • 2013-06-06
  • 本文字数:1600 字

    阅读完需:约 5 分钟

Mike Barlow 编写的《实时大数据分析:新兴架构( Real-Time Big Data Analytics: Emerging Architecture )》白皮书,以大数据分析为主题,还介绍了实时大数据分析(RTBDA)与传统数据分析有何不同。Mike 描述了实时大数据分析框架的 5 个阶段:数据净化、模型开发、验证部署、实时计分和模型刷新。

此外,他还探讨了由 David Smith 提出的四层 RTBDA 技术栈:

  • 数据
  • 分析
  • 集成
  • 决策

InfoQ 采访了 Mike,谈到了实时大数据分析的当前状态以及像决策科学(Decision Science)这样的大数据领域的新兴趋势。

InfoQ:你能否定义一下实时大数据分析是什么,它是如何工作的?

Mike实时大数据是很多技术和技巧的集合。在过去,分析过程需要数月、数日或数小时,而实时大数据分析技术将时间减少到了数分钟、数秒甚至不到一秒。两年前,很多数据分析师认为能在 40 分钟内得到查询结果简直是奇迹了。而在今天,他们可以期望在数毫秒内看到结果。考虑查询、得到结果然后开始实验,这几乎就是思考的速度了。另一方面,对高速交易系统而言,毫秒还是太长了,因为在这样的世界中操作是分解为微妙的。因此术语“实时”对作业的需求和手头的任务有很大依赖。

InfoQ:传统分析与实时大数据分析有何差别?

Mike传统分析往往是这样的过程,从传统数据仓库中检索出结构化数据,然后利用这些结构化数据生成报表。实时大数据分析又前进了一步,不管销售点是实体商店还是电商网站,它都可以给出能带来业务价值的见解和建议。

InfoQ:在白皮书中,你们谈到了机器开始思考并像人一样做出反应的新纪元,再就是从数据科学向下一逻辑前沿——决策科学的转移。你能否更多地探讨一下这些创新及即将到来的趋势?

Mike:分析正向更快、更自动化、更智能和更为商业友好的趋势发展,这样的分析能够快速给出见解并提供具体的建议,更有可能促进销售并带来更高的利润。

InfoQ:你还谈到了创建分析与使用分析两者是不同的。你能否给个例子来介绍下这两个步骤?

Mike数据分析师与数据的用户和消费者不同,前者直接与数据打交道,而后者往往更接近公司的实际客户。两者都需要对数据进行可视化和理解的工具,但他们需要的工具又有不同。数据分析师和数据科学家需要数据建模工具。而用户和消费者——不管是推销人员还是营销人员——都需要工具来理解数据有可能如何影响客户行为,以及会给销售带来什么样的结果。

InfoQ:实时大数据分析领域有什么新兴趋势?

Mike因为分析师和用户 / 消费者也可以分为不同的种类,因此可视化、解释或其他以有意义的方式作用于大数据并带来真正业务价值的工具一定会有很多选择。目前还没有一种通用的解决方案能够用于构造一个实时大数据平台。好的一面就是,很多非常聪明,而且积极性很高的人正在努力开发相关技术和策略,以便将大数据转变为有形的企业资产。拭目以待,这一定会非常精彩!

关于受访人

Mike Barlow是一位备受赞誉的记者、作家和传播策略顾问。自从创办 Cumulus Partners 公司以来,他已经写过了多个行业中的主流组织。Mike 与人合著了《The Executive’s Guide to Enterprise Social Media Strategy (Wiley, 2011)》和《Partnering with the CIO: The Future of IT Sales Seen Through the Eyes of Key Decision Makers (Wiley, 2007)》等作品。

他是一位作家,写了很多文章、报告和白皮书,涉及营销策略、营销自动化、客户智能、企业绩效管理、协作社交网络、云计算和大数据分析等领域。在长期的职业生涯中,Mike 还在一些备受推崇的郊区日报中做过记者和编辑,其中包括《The Journal News》和《Stamford Advocate》。他会定期在《The Los Angeles Times》、《Chicago Tribune》、《Miami Herald》和《Newsday》等主流美国报纸上发表专题报道和专栏。

Mike 毕业于汉密尔顿学院,热爱阅读。他获得过私人飞行执照,还是一名狂热的冰球球迷。Mike 和妻子及两个孩子住在康狄涅格州的费尔菲尔德。

查看英文原文: Mike Barlow on Real-Time Big Data Analytics

2013-06-06 11:004956
用户头像
臧秀涛 略懂技术的运营同学。

发布了 300 篇内容, 共 125.8 次阅读, 收获喜欢 33 次。

关注

评论

发布
暂无评论
发现更多内容

2020最新阿里巴巴必问的200个面试题以及答案,助你斩获阿里offer

Java 程序员 后端

更务实的联想,要做钢筋铁骨的边缘智能

脑极体

fastposter 2.1.1 发布 电商级海报生成器

物有本末

Java Python 海报 fastposter 海报生成器

CODING —— 云原生时代的研发工具领跑者

CODING DevOps

云原生 Orbit 研发工具 Compass 战略升级

2020年京东Java研发岗社招面经(面试经历+真题总结,java编程教程视频下载

Java 程序员 后端

沃丰科技一体化平台 AI驱动数字与产业深度融合

海比研究院

10年Java开发经验,超过500人面试阿里的同学,总结出这108道面试题

Java 程序员 后端

2020金九银十面试总结,大厂Java面试必会知识点,基础+底层+算法+数据库

Java 程序员 后端

谈一谈麦语言程序化模型编写

Regan Yue

量化交易 麦语言 10月月更

北鲲云超算平台借助GPU实现仿真加速

北鲲云

(项目实战)如何结合k8s和pipeline的流水线,并通过k8s接口完成镜像升级

Java 程序员 后端

数智商业创新的强大力量,用友BIP如何构筑产业互联网?

海比研究院

2020年,阿里最新的java程序员面试题目含答案带你吊打面试官

Java 程序员 后端

2021-07-22 Java练习题,kafka数据存储原理

Java 程序员 后端

1047 行 MySQL 详细学习笔记(值得学习与收藏),java基础面试题及答案整理

Java 程序员 后端

10个知识点让你读懂Spring MVC容器,mysql主从复制原理

Java 程序员 后端

1年半经验,2本学历,Curd背景,学了阿里P8级架构师的7+1+1落地项目

Java 程序员 后端

Springboot Keycloak集成

消失的子弹

springboot keycloak

百分点科技大数据技术团队:基于多Spark任务的ClickHouse数据同步方案实践

百分点科技技术团队

1000页神仙文档,连阿里P8面试官都说太详细了,面面俱到!搞懂这些直接P6+

Java 程序员 后端

科大讯飞1024,我在现场

搬砖人

1024我在现场

【稳定性平台】GOREPLAY流量录制回放实战

得物技术

golang 得物 GOREPLAY 稳定性平台

2020金九银十面试总结,大厂Java面试必会知识点(1),java基础入门第二版第二章答案

Java 程序员 后端

2021先定个小目标?搞清楚MyCat分片的两种拆分方法和分片规则!

Java 程序员 后端

1000道阿里巴巴初级~高级Java工程师面试题(含答案,2021最新华为Java校招面试题

Java 程序员 后端

130道BATJM真题及解析:集合+Spring,华为社招java面试题

Java 程序员 后端

2020年IT运维市场大前景到底怎么样,mysql数据库sql语句面试题

Java 程序员 后端

国密解决方案专场推介会 四城联动 圆满落幕

腾讯安全云鼎实验室

解决方案 国密

10W字解析 SpringBoot技术内幕文档,实战+原理齐飞,java技术上难以解决的问题

Java 程序员 后端

Mike Barlow谈实时大数据分析_大数据_Srini Penchikala_InfoQ精选文章