写点什么

基于英特尔® 架构的 GigaSpaces InsightEdge Platform*

  • 2018-08-28
  • 本文字数:4042 字

    阅读完需:约 13 分钟

众所周知,数据正呈指数级增长(从 2010 年至 2020 年预计会增加 50 倍),而数据必须得到合理使用才能彰显其价值。

现在,企业需要深究的是如何最充分地利用所有数据,即实时获取数据,根据这些数据制定决策并根据这些决策采取相应的行动。但是企业如何做到这些可能面临着困境,特别是随着人工智能(AI)、物联网(IoT)、机器学习(ML)和深度学习(DL)技术的不断发展,需要企业立刻采取相应的行动并确保未来具备敏捷性和可扩展性。然而,不断发展的技术并不是唯一的障碍。企业还需要找到一种方法,以便在分析数据的同时为应用提供所需的服务—这种方式既不会影响性能,也不需要维护多个基础设施。

基于英特尔® 架构的 GigaSpaces InsightEdge Platform* 可以满足企业的上述需求。

InsightEdge Platform 是一个开源的内存型洞察平台。它不仅兼具快速数据分析和事务处理能力,能让企业实现即时商业洞察并采取相应的行动;还具有超低的延迟,能让企业在短短几毫秒内访问时间敏感型数据并采取相应的行动。无论现在还是将来,通过将 InsightEdge Platform、英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘(SSD)与集成式 BigDL* 搭配使用,企业可轻松地在实时分析和 AI 应用领域实现创新,同时降低相关的风险和总体拥有成本(TCO)并实现高敏捷性。

为了了解基于英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘的 InsightEdge

Platform 的运行情况(相较于基于上一代处理器和固态盘的 InsightEdge Platform),

GigaSpaces 进行了内部测试。这项测试比较了基于以下两种配置的 InsightEdge Platform

的查询和加载时间:英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘;英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列。结果显示,与上一代架构相比,采用新一代英特尔® 架构时,该平台具有更快的查询和加载速度。新一代的英特尔® 架构还为 GigaSpaces 用户带来了其他益处。

GigaSpaces InsightEdge Platform

GigaSpaces InsightEdge Platform 所采用的核心技术是 GigaSpaces XAP* 内存数据网格。该平台将快速数据分析功能、AI、ML、DL 和实时应用整合到了一个高性能的成熟软件平台上,它可以部署在云端、本地或混合环境中。该平台包含完整的 Apache Spark* 发行版,并将 Spark 分析框架与所有的 XAP 内存数据网格功能集成在一起。

Spark 发行版由高度可用的集群层来管理,该层具备自愈、99.999% 可用性、无单点故障、本地和区域性冗余等优点。2 通过共置 Spark 作业以及数据网格的低延迟应用结构,用户无需再将分析功能和应用分隔开。用户可以即时访问洞察结果,并根据洞察结果制定决策。

基于英特尔® 架构的 GigaSpaces InsightEdge Platform

基于英特尔® 架构的 GigaSpaces InsightEdge Platform 在本地、云端和混合云部署中均具有极佳的性能表现。与上一代英特尔® 至强® 处理器 E5 v4 家族相比,英特尔® 至强®可扩展处理器具有更加出众的性能。英特尔® 至强® 可扩展处理器还具备以下优点:能为每个系统提供更多的内存,易于扩展,支持低延迟以及较高的每秒输入 / 输出(I/O)操作次数(IOPS)。通过为每个系统提供更多的内存,用户可以在占用较少 RAM 的情况下实时存储、处理和分析数据密集型应用和工作负载,这有助于避免集群的无序扩张并降低本地 TCO。

用于存储数据的英特尔® 傲腾™ 固态盘有助于进一步缩短访问已存储数据时出现的延迟,以提高吞吐量并缩短响应时间。英特尔® 傲腾™ 固态盘还能通过缓解集群和组件的无序扩张、最大限度减少活动部件并实现多层数据存储(InsightEdge Platform 可立即访问所存储的数据),帮助降低 TCO。英特尔® 傲腾™ 固态盘是对 GigaSpaces XAP MemoryXtend* (一个多层数据存储架构)的补充。这些解决方案组合在一起,可以构建一个混合存储模型,其中热数据存储在 RAM 中,冷数据存储在固态盘中,这样便可通过减少所占用的 RAM 来降低成本。

GigaSpaces XAP* 内存数据网格

GigaSpaces XAP 是 GigaSpaces InsightEdge Platform* 所采用的核心内存数据网格技术。

XAP 支持超低延迟和高吞吐量应用。它可以按需扩展应用。另外,其经过简化的架构可以避免集群和组件的无序扩张,从而最大限度减少活动部件并降低 TCO。

测试展现了新一代平台的性能

为了展示基于新一代英特尔® 至强® 可扩展处理器的 GigaSpaces InsightEdge Platform 在本地部署方面的性能表现,GigaSpaces 进行了内部测试。GigaSpaces 在 InsightEdge

Platform 上对 4 GB 大小的数据集进行了地理空间和高级数据分析,以求实时制定运营决策。这项测试比较了以下两种配置:英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列;英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列。英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列将平台的数据加载时间缩短了 33%,并将平台的查询时间缩短了 23%(参见图 2 和图 3)。

图 2. 比较结果:采用英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列的 GigaSpaces InsightEdge Platform* 的数据加载时间为 36.5 秒;采用英特尔®至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列的 GigaSpaces InsightEdge Platform* 的数据加载时间为 24.3 秒。

图 3. 比较结果:采用英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列的 GigaSpaces InsightEdge Platform* 的数据查询时间为 9.4 秒;采用英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列的 GigaSpaces InsightEdge Platform* 的数据查询时间为 7.2 秒

为何采用英特尔® 至强® 可扩展处理器

英特尔® 至强® 可扩展处理器能够缩短 GigaSpaces InsightEdge Platform 的数据加载和查询时间。因为相较于英特尔® 至强® 处理器 E5 v4 家族,英特尔® 至强® 可扩展处理器能为在线分析处理(OLAP)和在线事务处理(OLTP)提供更多的内存支持。英特尔® 至强® 可扩展处理器有六个内存通道,而测试中所用的英特尔® 至强® 处理器 E5 v4 家族只有四个通道。前者还提供了更为灵活的配置,可以更好地满足高容量高性能计算(HPC)应用和内存密集型工作负载的各种需求。

它可以支持最多 8 路,每路最高 1.5 TB 内存容量,8 路配置提供总计 12 TB 容量,从而增加了内存支持。另外,英特尔® 至强® 铂金处理器具备更多线程;配备 DDR4-2666 内存;其高速外围设备互连 *(PCIe*)3.0 带宽的通道数也多了 8 个,达到 48 个,而在英特尔® 至强® 处理器 E5 v4 家族中仅有 40 个。

除了比上一代处理器具有更多的内核和线程外,英特尔® 至强® 可扩展处理器还采用了全新的微架构,这使得所有 CPU 具有一致的形状,因而任何 CPU 都能插入相同的英特

尔 Socket P 型插槽。这意味着系统能够从双路扩展到 4 路或 8 路,而无需第三方提供的外部芯片组。

全新的微架构是英特尔® 至强® 可扩展处理器的优势之一。英特尔® 至强® 可扩展处理器采用一系列全新增强技术,增加了内存容量和新架构,从而提升了性能、可靠性、可用性、可维护性和可管理性。这些技术包括:

•     经过优化且无需配备图形处理单元(GPU)的机器学习和深度学习框架:用户无需配备 GPU,也不会影响性能。

•     集成式英特尔® QuickAssist 技术(英特尔® QAT):在软件定义基础设施(SDI)中的服务器、存储和网络之间实现了数据压缩和加密等关键工作负载的硬件辅助加速。

•     经过整合且可动态自动配置的内存、存储和网络资源:可根据工作负载的需求,在本地、整个网络和公有云中完成配置。

•     存储创新:包括支持英特尔® 傲腾™ 固态盘和英特尔® 3D NAND 固态盘,提升了数据密集型工作负载的效率和性能。

•     英特尔® 卷管理设备(英特尔® VMD):支持通过 PCIe 总线以热插拔方式更换 NVM Express*(NVMe*)固态盘,且无需关闭系统;标准化的 LED 管理功能则有助于快速识别固态盘的状态。

英特尔® 傲腾™ 固态盘可进一步提升性能

英特尔® 傲腾™ 固态盘兼具内存和存储器的特性,可以充分发挥英特尔® 至强® 可扩展处理器的潜能。英特尔® 傲腾™ 固态盘有助于消除数据中心的存储瓶颈,并能用更为经济的方式处理更大的数据集。英特尔® 傲腾™ 固态盘可以帮助您加速交付应用,降低延迟敏感型工作负载的事务成本,并改善整个数据中心的 TCO,因为这些固态盘可以:

•     实现高达 500,000 的 IOPS,相当于在队列深度为 11 的情况下,约 2 GB/s 的速度。4

•     保持一致的读取响应时间,无论驱动器的写入吞吐量是多少。读取响应时间可保持在 30 微秒(μs)以下,同时可承受高达 2 GB/s 的随机写入压力。4

•     采用英特尔® 内存驱动技术,该技术将固态盘整合到内存子系统中,并使固态盘像 DRAM 一样显示在操作系统和应用中,从而大幅扩展系统内存。

BigDL* 和英特尔® 数学核心函数库(英特尔® MKL)

GigaSpaces InsightEdge Platform 集成了 BigDL 和英特尔® 数学核心函数库(英特尔® MKL),并在各个 Spark 任务中充分利用了多线程编程技术。BigDL 是一个适用于 Spark 的分布式深度学习库,它允许用户以 Scala* 或 Python* 程序的形式创建深度学习应用,并充分利用可扩展 Spark 集群的强大功能。英特尔® MKL 包含经过高度优化、线程化和矢量化的数学函数,可以提高各种英特尔® 处理器的性能。

借助基于英特尔® 架构的 GigaSpaces InsightEdge Platform,减少基础设施的无序扩张并降低 TCO

洞察驱动型企业知道,切实可行的数据洞察可以增加企业收入、削减成本、降低风险并使公司超越竞争对手。此外,如果选择访问即时数据并根据洞察结果采取行动,企业即可通过为内存数据分析和应用使用单个平台(即基于英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘的 InsightEdge Platform)来减少基础设施并降低 TCO,从而实现上述目标。

2018-08-28 02:051002

评论

发布
暂无评论
发现更多内容

【技术加油站】揭秘百度智能测试规模化落地

百度Geek说

百度 测试 后端 智能化测试

如何使用 HTML 和 CSS 写一个登录界面

宇宙之一粟

html/css 3月月更

【愚公系列】2022年03月 Docker容器 RabbitMQ集群的搭建

愚公搬代码

3月月更

微博评论高性能计算架构设计

炎彬

「架构实战营」

架构训练营-模块五

Leo

架构训练营

微博评论的高可用高性能计算架构

浪飞

微博评论的高性能高可用计算架构

tom

【愚公系列】2022年03月 Docker容器 Mysql主从复制的搭建

愚公搬代码

3月月更

【愚公系列】2022年03月 Docker容器 Oracle的搭建

愚公搬代码

3月月更

微博评论高性能高可用计算架构

石小天

「架构实战营」

cdr2022新版本序列号功能详解

茶色酒

cdr2022

一文带你搞懂java8新特性,熟记于心

刘祥

JAVA stream

【愚公系列】2022年03月 RabbitMQ EasyNetQ的用法(window11+vs2022+.NET 6)

愚公搬代码

3月月更

解密GaussDB(for Influx)时序洞察

华为云开发者联盟

Influxdb 时序数据库 GaussDB(for Influx) 时序数据 时序洞察

15 本你必须阅读的 PyTorch 书籍,【2021Python最新学习路线

程序媛可鸥

Python 程序员 面试

18年程序员生涯,读了200多本编程书,挑出一些精华分享给大家

程序媛可鸥

Python 程序员 面试

在线JSON转CSV格式文件工具

入门小站

工具

“微博评论”的高性能、高可用架构设计

凌波微步

「架构实战营」

模块5作业

Mr小公熊

一文简述:云端常用存储类型

穿过生命散发芬芳

3月月更 云端存储

【愚公系列】2022年03月 RabbitMQ之Erlang-Window11下的安装

愚公搬代码

3月月更

【愚公系列】2022年03月 RabbitMQ 环境搭建和初步使用(window11+vs2022+.NET 6)

愚公搬代码

3月月更

Girlfriend含苞待笑——一次性处理上百份文档,BAT这种大厂履历意味着什么

程序媛可鸥

Python 程序员 面试

模块五作业

blazar

「架构实战营」

架构实战营:模块九作业

Geek_93ffb0

「架构实战营」

微博评论-高性能高可用计算架构

邹玉麒

「架构实战营」

模块五作业

Geek_ec866b

架构训练营

物联网应用开发实践案例-智慧农业

DS小龙哥

3月月更

华为自研编程语言“仓颉”试用报名开启

IT蜗壳-Tango

IT蜗壳 3月月更

这应该是目前市面上最好用的一款安卓兼容工具了!

优麒麟

Linux 开源 操作系统 优麒麟 KMRE

百度交易中台之账房系统架构浅析

百度Geek说

百度 架构 后端 交易中台

基于英特尔® 架构的 GigaSpaces InsightEdge Platform*_架构_Intel_InfoQ精选文章