【ArchSummit架构师峰会】探讨数据与人工智能相互驱动的关系>>> 了解详情
写点什么

基于英特尔® 架构的 GigaSpaces InsightEdge Platform*

  • 2018-08-28
  • 本文字数:4042 字

    阅读完需:约 13 分钟

众所周知,数据正呈指数级增长(从 2010 年至 2020 年预计会增加 50 倍),而数据必须得到合理使用才能彰显其价值。

现在,企业需要深究的是如何最充分地利用所有数据,即实时获取数据,根据这些数据制定决策并根据这些决策采取相应的行动。但是企业如何做到这些可能面临着困境,特别是随着人工智能(AI)、物联网(IoT)、机器学习(ML)和深度学习(DL)技术的不断发展,需要企业立刻采取相应的行动并确保未来具备敏捷性和可扩展性。然而,不断发展的技术并不是唯一的障碍。企业还需要找到一种方法,以便在分析数据的同时为应用提供所需的服务—这种方式既不会影响性能,也不需要维护多个基础设施。

基于英特尔® 架构的 GigaSpaces InsightEdge Platform* 可以满足企业的上述需求。

InsightEdge Platform 是一个开源的内存型洞察平台。它不仅兼具快速数据分析和事务处理能力,能让企业实现即时商业洞察并采取相应的行动;还具有超低的延迟,能让企业在短短几毫秒内访问时间敏感型数据并采取相应的行动。无论现在还是将来,通过将 InsightEdge Platform、英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘(SSD)与集成式 BigDL* 搭配使用,企业可轻松地在实时分析和 AI 应用领域实现创新,同时降低相关的风险和总体拥有成本(TCO)并实现高敏捷性。

为了了解基于英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘的 InsightEdge

Platform 的运行情况(相较于基于上一代处理器和固态盘的 InsightEdge Platform),

GigaSpaces 进行了内部测试。这项测试比较了基于以下两种配置的 InsightEdge Platform

的查询和加载时间:英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘;英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列。结果显示,与上一代架构相比,采用新一代英特尔® 架构时,该平台具有更快的查询和加载速度。新一代的英特尔® 架构还为 GigaSpaces 用户带来了其他益处。

GigaSpaces InsightEdge Platform

GigaSpaces InsightEdge Platform 所采用的核心技术是 GigaSpaces XAP* 内存数据网格。该平台将快速数据分析功能、AI、ML、DL 和实时应用整合到了一个高性能的成熟软件平台上,它可以部署在云端、本地或混合环境中。该平台包含完整的 Apache Spark* 发行版,并将 Spark 分析框架与所有的 XAP 内存数据网格功能集成在一起。

Spark 发行版由高度可用的集群层来管理,该层具备自愈、99.999% 可用性、无单点故障、本地和区域性冗余等优点。2 通过共置 Spark 作业以及数据网格的低延迟应用结构,用户无需再将分析功能和应用分隔开。用户可以即时访问洞察结果,并根据洞察结果制定决策。

基于英特尔® 架构的 GigaSpaces InsightEdge Platform

基于英特尔® 架构的 GigaSpaces InsightEdge Platform 在本地、云端和混合云部署中均具有极佳的性能表现。与上一代英特尔® 至强® 处理器 E5 v4 家族相比,英特尔® 至强®可扩展处理器具有更加出众的性能。英特尔® 至强® 可扩展处理器还具备以下优点:能为每个系统提供更多的内存,易于扩展,支持低延迟以及较高的每秒输入 / 输出(I/O)操作次数(IOPS)。通过为每个系统提供更多的内存,用户可以在占用较少 RAM 的情况下实时存储、处理和分析数据密集型应用和工作负载,这有助于避免集群的无序扩张并降低本地 TCO。

用于存储数据的英特尔® 傲腾™ 固态盘有助于进一步缩短访问已存储数据时出现的延迟,以提高吞吐量并缩短响应时间。英特尔® 傲腾™ 固态盘还能通过缓解集群和组件的无序扩张、最大限度减少活动部件并实现多层数据存储(InsightEdge Platform 可立即访问所存储的数据),帮助降低 TCO。英特尔® 傲腾™ 固态盘是对 GigaSpaces XAP MemoryXtend* (一个多层数据存储架构)的补充。这些解决方案组合在一起,可以构建一个混合存储模型,其中热数据存储在 RAM 中,冷数据存储在固态盘中,这样便可通过减少所占用的 RAM 来降低成本。

GigaSpaces XAP* 内存数据网格

GigaSpaces XAP 是 GigaSpaces InsightEdge Platform* 所采用的核心内存数据网格技术。

XAP 支持超低延迟和高吞吐量应用。它可以按需扩展应用。另外,其经过简化的架构可以避免集群和组件的无序扩张,从而最大限度减少活动部件并降低 TCO。

测试展现了新一代平台的性能

为了展示基于新一代英特尔® 至强® 可扩展处理器的 GigaSpaces InsightEdge Platform 在本地部署方面的性能表现,GigaSpaces 进行了内部测试。GigaSpaces 在 InsightEdge

Platform 上对 4 GB 大小的数据集进行了地理空间和高级数据分析,以求实时制定运营决策。这项测试比较了以下两种配置:英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列;英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列。英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列将平台的数据加载时间缩短了 33%,并将平台的查询时间缩短了 23%(参见图 2 和图 3)。

图 2. 比较结果:采用英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列的 GigaSpaces InsightEdge Platform* 的数据加载时间为 36.5 秒;采用英特尔®至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列的 GigaSpaces InsightEdge Platform* 的数据加载时间为 24.3 秒。

图 3. 比较结果:采用英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列的 GigaSpaces InsightEdge Platform* 的数据查询时间为 9.4 秒;采用英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列的 GigaSpaces InsightEdge Platform* 的数据查询时间为 7.2 秒

为何采用英特尔® 至强® 可扩展处理器

英特尔® 至强® 可扩展处理器能够缩短 GigaSpaces InsightEdge Platform 的数据加载和查询时间。因为相较于英特尔® 至强® 处理器 E5 v4 家族,英特尔® 至强® 可扩展处理器能为在线分析处理(OLAP)和在线事务处理(OLTP)提供更多的内存支持。英特尔® 至强® 可扩展处理器有六个内存通道,而测试中所用的英特尔® 至强® 处理器 E5 v4 家族只有四个通道。前者还提供了更为灵活的配置,可以更好地满足高容量高性能计算(HPC)应用和内存密集型工作负载的各种需求。

它可以支持最多 8 路,每路最高 1.5 TB 内存容量,8 路配置提供总计 12 TB 容量,从而增加了内存支持。另外,英特尔® 至强® 铂金处理器具备更多线程;配备 DDR4-2666 内存;其高速外围设备互连 *(PCIe*)3.0 带宽的通道数也多了 8 个,达到 48 个,而在英特尔® 至强® 处理器 E5 v4 家族中仅有 40 个。

除了比上一代处理器具有更多的内核和线程外,英特尔® 至强® 可扩展处理器还采用了全新的微架构,这使得所有 CPU 具有一致的形状,因而任何 CPU 都能插入相同的英特

尔 Socket P 型插槽。这意味着系统能够从双路扩展到 4 路或 8 路,而无需第三方提供的外部芯片组。

全新的微架构是英特尔® 至强® 可扩展处理器的优势之一。英特尔® 至强® 可扩展处理器采用一系列全新增强技术,增加了内存容量和新架构,从而提升了性能、可靠性、可用性、可维护性和可管理性。这些技术包括:

•     经过优化且无需配备图形处理单元(GPU)的机器学习和深度学习框架:用户无需配备 GPU,也不会影响性能。

•     集成式英特尔® QuickAssist 技术(英特尔® QAT):在软件定义基础设施(SDI)中的服务器、存储和网络之间实现了数据压缩和加密等关键工作负载的硬件辅助加速。

•     经过整合且可动态自动配置的内存、存储和网络资源:可根据工作负载的需求,在本地、整个网络和公有云中完成配置。

•     存储创新:包括支持英特尔® 傲腾™ 固态盘和英特尔® 3D NAND 固态盘,提升了数据密集型工作负载的效率和性能。

•     英特尔® 卷管理设备(英特尔® VMD):支持通过 PCIe 总线以热插拔方式更换 NVM Express*(NVMe*)固态盘,且无需关闭系统;标准化的 LED 管理功能则有助于快速识别固态盘的状态。

英特尔® 傲腾™ 固态盘可进一步提升性能

英特尔® 傲腾™ 固态盘兼具内存和存储器的特性,可以充分发挥英特尔® 至强® 可扩展处理器的潜能。英特尔® 傲腾™ 固态盘有助于消除数据中心的存储瓶颈,并能用更为经济的方式处理更大的数据集。英特尔® 傲腾™ 固态盘可以帮助您加速交付应用,降低延迟敏感型工作负载的事务成本,并改善整个数据中心的 TCO,因为这些固态盘可以:

•     实现高达 500,000 的 IOPS,相当于在队列深度为 11 的情况下,约 2 GB/s 的速度。4

•     保持一致的读取响应时间,无论驱动器的写入吞吐量是多少。读取响应时间可保持在 30 微秒(μs)以下,同时可承受高达 2 GB/s 的随机写入压力。4

•     采用英特尔® 内存驱动技术,该技术将固态盘整合到内存子系统中,并使固态盘像 DRAM 一样显示在操作系统和应用中,从而大幅扩展系统内存。

BigDL* 和英特尔® 数学核心函数库(英特尔® MKL)

GigaSpaces InsightEdge Platform 集成了 BigDL 和英特尔® 数学核心函数库(英特尔® MKL),并在各个 Spark 任务中充分利用了多线程编程技术。BigDL 是一个适用于 Spark 的分布式深度学习库,它允许用户以 Scala* 或 Python* 程序的形式创建深度学习应用,并充分利用可扩展 Spark 集群的强大功能。英特尔® MKL 包含经过高度优化、线程化和矢量化的数学函数,可以提高各种英特尔® 处理器的性能。

借助基于英特尔® 架构的 GigaSpaces InsightEdge Platform,减少基础设施的无序扩张并降低 TCO

洞察驱动型企业知道,切实可行的数据洞察可以增加企业收入、削减成本、降低风险并使公司超越竞争对手。此外,如果选择访问即时数据并根据洞察结果采取行动,企业即可通过为内存数据分析和应用使用单个平台(即基于英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘的 InsightEdge Platform)来减少基础设施并降低 TCO,从而实现上述目标。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2018-08-28 02:05795

评论

发布
暂无评论
发现更多内容

Linux之seq命令

入门小站

Linux

Vuex在TSX中的改造方案:TS改造Vue2项目Vuex如何处置?

zhoulujun

Vue3 vue2 tsx vuex-class vuex-module-decorators

如何保持知识与技能的先进性

长沙造纸农

学习方法 方法论 认知提升 学习笔记 技能提升

Orbiton JS:用于构建 UI 的 JavaScript 库

devpoint

JavaScript 3月月更 Orbiton JS

毕业总结:

Anlumina

#架构实战营

架构训练营模块六

刘帅

在线HTML美化格式化工具

入门小站

工具

Salesforce服务可观测性设计模式

俞凡

微服务 可观测性 大厂实践 Salesforce

失眠的岁月,我们都交了哪些科技智商税?

脑极体

KCP协议:从TCP到UDP家族QUIC/KCP/ENET

zhoulujun

网络加速 KCP 游戏加速 quick 带宽优化

毕业设计

Anlumina

「架构实战营」

电商系统微服务拆分

邹玉麒

「架构实战营」

在线HTTP/HTTPS协议GET,POST,RESTful接口测试

入门小站

工具

电商系统微服务拆分

随欣所遇

架构训练营5期

READS: Salesforce服务健康指标最佳实践

俞凡

微服务 最佳实践 可观测性 大厂实践 Salesforce

拆分电商系统为微服务

石小天

「架构实战营」

Web 3.0是什么?区块链热潮下2022年必懂的科技概念

CECBC

《直击本质》——读后上

圣迪

系统性思考 直击本质 金字塔原理 本质

模块6作业:电商系统微服务拆分

炎彬

「架构实战营」

模块六作业

Mr小公熊

深度学习优化层技术

Clarke

电商系统拆分为微服务

凌波微步

「架构实战营」

电商系统微服务拆分

张逃逃

第六个模块作业

achilles

聊聊 Webpack 插件系统的关键实现 Tapable

蛋先生DX

JavaScript 前端 webpack

一文搞懂I2C总线通信

不脱发的程序猿

嵌入式 通信协议 I2C协议

电商微服务架构拆分

Fingal

架构实战营

[Day1]-[广度搜索(BFS)] 二叉树最小高度

方勇(gopher)

LeetCode BFS 数据结构算法

公平的获得财富的机会,区块链通证经济是未来的必然趋势

CECBC

电商系统微服务拆分

风中奇缘

#架构实战营 「架构实战营」

架构实战营:模块六业

刘璐

基于英特尔® 架构的 GigaSpaces InsightEdge Platform*_架构_Intel_InfoQ精选文章