写点什么

Hadoop + SQL Server + Excel = 大数据分析

  • 2013-01-31
  • 本文字数:1876 字

    阅读完需:约 6 分钟

几个月前,微软宣布了自己的用于大数据管理、分析和挖掘的 Hadoop 发布版 HDInsight 。InfoQ 联系到了 SQL Server 的高级产品营销经理 Val Fontama,希望进一步了解微软的企业级大数据到底如何。

关于企业中数据集规模的增长趋势:

数据的海洋一直在增长。有预测表明业务信息存储量每年都会加倍。例如,Gartner 发现全世界的信息量每年在以最少 59% 的速率增长,而其中大约 85% 的数据是“非结构化”的——比如视频剪辑、RFID 标签和网站日志。这些非结构化数据用传统的数据管理系统来处理并不容易。此外,在很多场景下,客户在实时收集新数据时发现数据增长速率还在增加。

客户将需要一个与业务及所收集数据的发展相适应的现代数据平台。对全球企业而言,大数据为从所收集数据(不管是结构化的还是非结构化的)中找到新颖可行的观点创造了大量商机。因为到最后,大数据的最大前景就是推动来自数据的、更智能的决策。而智能决策就要收集来自各类数据的观点。

HDInsight 是微软应对大数据的解决方案:

微软希望通过支持 Windows Server 和 Windows Azure 的 Hadoop 发布版,提供可移植、性能优越、安全且易部署等特性,促进 Hadoop 的应用。微软还将通过在 HDInsight 中集成 Active Directory 来增强 Hadoop 的安全性。此举将使 IT 部门能够将同样的一致性安全策略用于包括 Hadoop 集群在内的所有 IT 资产。

此外,通过与 System Center 集成,HDInsight 简化了 Hadoop 的管理,并支持 IT 部门在同一面板上管理 Hadoop 集群、SQL Server 数据库和应用程序。

基于 Hadoop 的 Windows 平台应用程序集成了如 Excel、Power View 和 PowerPivot 等微软的商业智能(BI)工具,可以很容易地分析大量的业务信息,从而创造独特的、差异化的商业价值。

为实现与 Apache Hadoop 百分之百的兼容性,微软的 Hadoop 发布版 HDInsight 是基于 Hortonworks Data Platform(HDP)构建的。因此,客户能够将其 MapReduce 作业从自己的 Windows 服务器移到云中,甚至是移到运行在 Linux 上的 Apache Hadoop 发布版中。目前还没有其他厂商提供该功能。此外,在 Windows Server 和 Azure 平台上提供这些功能,也使客户能够利用熟悉的工具(如 Excel、PowerPivot for Excel 和 Power View)轻松地从数据中抽取可行的观点。

SQL Server 如何适应这种解决方案:

在帮助企业处理大数据集方面,SQL Server 2012 与 SQL Server 2008 最重要的区别之一就是与 Hadoop 的兼容性。Hadoop 允许用户处理大量的结构化和非结构化数据并快速从中获得观点,而且,因为 Hadoop 是开源的,成本较低。Hadoop 与 SQL Server 2012 兼容的特性是微软与 Hortonworks 合作开发的,微软最近也宣布 Microsoft HDInsight Server 和 Windows Azure HDInsight Service 已经可以预览,这都使用户能够使用微软开发的 Hadoop 连接器来从数据中获得最好的观点。通过 Hive ODBC Driver 把 SQL Server 连接到 Hadoop,客户现在可以使用如 PowerPivot 和 Power View 等微软的 BI 工具在 SQL Server 2012 中分析各种类型的数据,包括非结构化数据。此外,利用 SQL Server 2012 中新的 Data Quality Services,客户可以通过将原始数据转换为适于建模的可靠且一致的数据来提高数据质量。

微软最近宣布了 Office 2013 中的一些新特性,并介绍了开发者应该如何利用这些特性来构建构建应用和处理数据的服务。不足为奇,微软自己在 Excel 正是利用这一点来提供大数据服务的:

Excel 是微软平台上支持大数据分析的主要客户端工具之一。在 Excel 2013 中,我们的主要工具是数据建模工具 PowerPivot 和数据可视化工具 Power View,而且恰好它们都构建进来了,无需额外下载。这支持各个层次的用户使用熟悉的 Excel 界面进行自助式 BI 分析。

通过 Excel 的 Hive 插件,我们的 HDInsight 服务很容易集成 Office 2013 中的 BI 工具,使用户能够用熟悉的工具轻松地分析海量的结构化或非结构化数据。

除了 Excel 之外,微软还提供了其他的大数据交互工具:BI 专业人员可以使用 BI Developer Studio 来设计 OLAP cube 或在 SQL Server Analysis Services 中设计可伸缩的 PowerPivot 模型。开发者可以继续使用 Visual Studio 来开发和测试用.NET 编写的 MapReduce 程序。最后,IT 运维人员可以使用他们目前所使用的 System Center 来管理 HDInsight 上的 Hadoop 集群。

总的说来,微软的策略看起来是要为客户使用大数据提供一种最简单的方法——扩展现有工具(如 SQL Server 和 Office 等),使之能够无缝处理新数据类型,从而允许各公司在处理新业务时能利用原有投资。

查看英文原文 Hadoop + SQL Server + Excel = Big Data Analytics

2013-01-31 04:5810507
用户头像
臧秀涛 略懂技术的运营同学。

发布了 300 篇内容, 共 146.3 次阅读, 收获喜欢 35 次。

关注

评论

发布
暂无评论
发现更多内容

EPM时代,国产化替代夺回话语权

智达方通

企业管理软件 EPM 智达方通 全面预算管理 智达方通EPM

LED透明屏清晰度受什么影响

Dylan

广告 案例 信息 LED显示屏 屏幕

落实《中国人民银行业务领域数据安全管理办法》,极盾科技是怎么做的?

极盾科技

数据安全

如何通过Python线程池实现异步编程?

互联网工科生

Python 线程池

MIAOYUN获评“2023年度一云多芯稳定安全运行优秀案例”

MIAOYUN

解决方案 信创 中国信通院 信创云 可信云大会

华为开发者大会2023即将召开:HarmonyOS 4 小艺或将迎来全新升级

最新动态

蓝牙智能设备数据采集平台化方案 | 京东云技术团队

京东科技开发者

数据采集 企业号 8 月 PK 榜 蓝牙智能设备

数据智能:加速企业数字化转型

软通咨询

数据智能 #人工智能 数字化咨询

如何为物联网设备注入“华为云+鸿蒙DNA”?

华为云开发者联盟

云计算 后端 华为云 华为云开发者联盟 企业号 8 月 PK 榜

etl engine 监控面板 为管理者掌握平台运行情况,决策执行方案提供即时数据支撑

weigeonlyyou

数据交换 物联网 数据采集 ETL Kafka ETL

NFTScan 正式上线 zkSync NFTScan 浏览器和 NFT API 数据服务

NFT Research

NFT\

全新升级!腾讯云大数据ES Serverless服务开启日志分析新体验

腾讯云大数据

elastic

盘点一对一直播源码iOS系统维持平台稳定功能(一):弹性扩缩容

山东布谷科技

软件开发 源码搭建 iOS SDK 一对一直播源码 弹性扩缩容

数字化转型背景下经管大数据课程教学能力进阶提升训练营,线下培训圆满收官!

ModelWhale

人才培养 学科交叉 师资培训 教育数字化

方法论揭秘|研发数字化转型,这家保险企业做对了什么?

万事ONES

低代码是什么意思?

优秀

低代码

分布式服务高可用实现:复制 | 京东物流技术团队

京东科技开发者

数据库 复制 高可用设计 分布式服务 企业号 8 月 PK 榜

高性能网络建设指南,《智算中心网络架构白皮书》开放下载

Baidu AICLOUD

大模型训练 高性能网络 RDMA

医疗知识图谱问答——文本分类解析

北桥苏

Python 聊天机器人 neo4j 图数据库 知识图谱

什么是数字化?数字化转型概念是怎么兴起的?

优秀

数字化转型 数字化

华为云第二期线下meetup·北理工站圆满落幕

华为云开源

开源

站在营销的角度浅谈直播行业

山东布谷网络科技

直播 直播app 直播APP源码

华为云与医药企业共话AI 助力医药行业数字化转型和创新发展

新消费日报

第二期开源答题挑战,看看你是什么级别吧!

开放原子开源基金会

开源 挑战 答题

中国出海企业如何防范恶意退货欺诈

极客天地

FastAPI简介:快速理解Python Web框架的新标杆

Liam

Python 程序员 后端 web开发 FastApi

代码随想录Day36 - 贪心算法(五)

jjn0703

GaussDB技术解读系列之SQL Audit,面向应用开发的SQL审核工具

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 8 月 PK 榜

LangChain:打造自己的LLM应用 | 京东云技术团队

京东科技开发者

langchain LLM模型 企业号 8 月 PK 榜

一种轻量级定时任务实现 | 京东云技术团队

京东科技开发者

定时任务 系统稳定性 轻量级 企业号 8 月 PK 榜

权威认证 I ONES 连续5年通过可信云企业级 SaaS 服务评估

万事ONES

Hadoop + SQL Server + Excel = 大数据分析_微软_Roopesh Shenoy_InfoQ精选文章