AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

使用 PolyBase 将 SQL Server 与 Hadoop 相结合

  • 2016-06-07
  • 本文字数:700 字

    阅读完需:约 2 分钟

最近发布的 SQL Server 2016 让开发人员可以使用 SQL 查询 Hadoop 和 Azure blob 存储。这是一项之前在 SQL Server 并行数据仓库中提供的技术,名为 PolyBase

和链接服务器一样,PolyBase 会设法将尽量多的处理工作转移到源数据库。也就是说,当查询 Hadoop 或 Azure blob 存储时,会生成恰当的 map/reduce 操作。这就是所谓的“下推(pushdown)”,下面是一些开发人员需要了解的下推限制:

SQL Server 允许对以下基本表达式和操作符做谓词下推:

  • 用于数值、日期、时间值的二元比较操作符(<、>、=、!=、<>、>=、<=);
  • 算术运算符( +、-、*、/、%);
  • 逻辑运算符(AND、OR);
  • 一元运算符(NOT、IS NULL、IS NOT NULL)。

文档接着写到:

BETWEEN、NOT、IN 和 LIKE 操作符可能也可以下推。这取决于查询优化器如何将它们改写为一系列使用基本关系运算符的语句。

下推可以通过 OPTION (FORCE EXTERNALPUSHDOWN) 显式启用,或通过 OPTION (DISABLE EXTERNALPUSHDOWN) 显式禁用。

将关系型和非关系型数据相结合

由于 PolyBase 是基于普通的 T-SQL,所以开发人员可以使用像连接这样的常见操作。这意味着,你可以在 Hadoop 集群中执行 map-reduce 操作,然后在一个查询中将执行结果和 SQL Server 数据库的表相连接。

导入 / 导出

在 SQL Server、Hadoop 和 Azure blob 存储之间移动数据不再需要外部的 ETL 过程或工具。相反,你可以像操作任意两个普通表一样,使用相同的 INSERT INTO/SELECT FROM 语法。从开发人员的角度来看,Hadoop 和 Azure blob 存储只是配置数据库时多出来的两个可供选择的表类型。(从运维的角度来看,你仍然需要分别管理安全和备份。)

查看英文原文 Combine SQL Server with Hadoop Using PolyBase

2016-06-07 19:002747
用户头像

发布了 1008 篇内容, 共 424.1 次阅读, 收获喜欢 346 次。

关注

评论

发布
暂无评论
发现更多内容

Altair 助力优化摩托车空气动力学性能,实现最佳的整流罩设计

Altair RapidMiner

人工智能 仿真 AIGC altair

Web3新视野:Lumoz节点的潜力与收益解读

石头财经

用技术望远镜看国内大模型:文心闪耀 双榜领跑

脑极体

AI

VMware vCenter Server 8.0U2d 下载 - 修复堆溢出 (远程执行代码) 和本地权限提升漏洞

sysin

vSphere vmware vcenter esxi

从钉钉到跨境电商技术演变,HHO通过NineData实现全球化业务布局

NineData

数据安全 数据管理 NineData 两氢一氧 本地机房

小鲤AI志愿填报助手:一键探索最适合你的大学专业

AI Inception

AI 高考 AIGC rag

一文读懂Lumoz节点的潜力与收益,加密收益新范式

BlockChain先知

质检迈入新时代,天润融通推出基于大模型的质检3.0解决方案

天润融通

人工智能

高考志愿服务,一张AI搜索的现实考卷

脑极体

AI

PhantomReference 和 WeakReference 究竟有何不同

bin的技术小屋

JVM Java’

更高能效:浪潮信息元脑®服务器NF5280G7刷新SPEC Power测试纪录

财见

解决华为NEXT应用开发中模拟器组件缺失问题

彭康佳

鸿蒙 an'droid

MQTTX 1.10.0 发布:CLI高级文件管理与配置

EMQ映云科技

mqtt mqttx

火山引擎×OPPO,以多样化AI智能体为手机用户带来全新体验

新消费日报

VMware vCenter Server 8.0U1e 下载 - 修复堆溢出 (远程执行代码) 和本地权限提升漏洞

sysin

vSphere vcenter esxi

Web3新视野:Lumoz节点的潜力与收益解读

股市老人

华为阅读亮相BIBF:以AI赋能出版行业,引领阅读新业态

最新动态

英伟达成全球市值第一公司;苹果暂停下一代高端头显研发丨 RTE 开发者日报 Vol.227

声网

VMware vCenter Server 7.0U3r 下载 - 修复堆溢出 (远程执行代码) 和本地权限提升漏洞

sysin

vSphere vcenter esxi

2024年全球架构师峰会(ArchSummit深圳站)

后台技术汇

Java 后台开发 架构师 全球架构师峰会 ArchSubmit

一文读懂Lumoz节点的潜力与收益,加密收益新范式

股市老人

2025QS最佳留学城市排名发布

财见

罗克韦尔自动化发布年度《智能制造现状报告:汽车版》

财见

报名参加通义灵码高校训练营,领 300 元阿里云产品通用抵扣金

阿里巴巴云原生

阿里云 云原生 通义灵码

使用PolyBase将SQL Server与Hadoop相结合_AI&大模型_Jonathan Allen_InfoQ精选文章