写点什么

基于英特尔® 架构的 GigaSpaces InsightEdge Platform*

  • 2018-08-28
  • 本文字数:4042 字

    阅读完需:约 13 分钟

众所周知,数据正呈指数级增长(从 2010 年至 2020 年预计会增加 50 倍),而数据必须得到合理使用才能彰显其价值。

现在,企业需要深究的是如何最充分地利用所有数据,即实时获取数据,根据这些数据制定决策并根据这些决策采取相应的行动。但是企业如何做到这些可能面临着困境,特别是随着人工智能(AI)、物联网(IoT)、机器学习(ML)和深度学习(DL)技术的不断发展,需要企业立刻采取相应的行动并确保未来具备敏捷性和可扩展性。然而,不断发展的技术并不是唯一的障碍。企业还需要找到一种方法,以便在分析数据的同时为应用提供所需的服务—这种方式既不会影响性能,也不需要维护多个基础设施。

基于英特尔® 架构的 GigaSpaces InsightEdge Platform* 可以满足企业的上述需求。

InsightEdge Platform 是一个开源的内存型洞察平台。它不仅兼具快速数据分析和事务处理能力,能让企业实现即时商业洞察并采取相应的行动;还具有超低的延迟,能让企业在短短几毫秒内访问时间敏感型数据并采取相应的行动。无论现在还是将来,通过将 InsightEdge Platform、英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘(SSD)与集成式 BigDL* 搭配使用,企业可轻松地在实时分析和 AI 应用领域实现创新,同时降低相关的风险和总体拥有成本(TCO)并实现高敏捷性。

为了了解基于英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘的 InsightEdge

Platform 的运行情况(相较于基于上一代处理器和固态盘的 InsightEdge Platform),

GigaSpaces 进行了内部测试。这项测试比较了基于以下两种配置的 InsightEdge Platform

的查询和加载时间:英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘;英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列。结果显示,与上一代架构相比,采用新一代英特尔® 架构时,该平台具有更快的查询和加载速度。新一代的英特尔® 架构还为 GigaSpaces 用户带来了其他益处。

GigaSpaces InsightEdge Platform

GigaSpaces InsightEdge Platform 所采用的核心技术是 GigaSpaces XAP* 内存数据网格。该平台将快速数据分析功能、AI、ML、DL 和实时应用整合到了一个高性能的成熟软件平台上,它可以部署在云端、本地或混合环境中。该平台包含完整的 Apache Spark* 发行版,并将 Spark 分析框架与所有的 XAP 内存数据网格功能集成在一起。

Spark 发行版由高度可用的集群层来管理,该层具备自愈、99.999% 可用性、无单点故障、本地和区域性冗余等优点。2 通过共置 Spark 作业以及数据网格的低延迟应用结构,用户无需再将分析功能和应用分隔开。用户可以即时访问洞察结果,并根据洞察结果制定决策。

基于英特尔® 架构的 GigaSpaces InsightEdge Platform

基于英特尔® 架构的 GigaSpaces InsightEdge Platform 在本地、云端和混合云部署中均具有极佳的性能表现。与上一代英特尔® 至强® 处理器 E5 v4 家族相比,英特尔® 至强®可扩展处理器具有更加出众的性能。英特尔® 至强® 可扩展处理器还具备以下优点:能为每个系统提供更多的内存,易于扩展,支持低延迟以及较高的每秒输入 / 输出(I/O)操作次数(IOPS)。通过为每个系统提供更多的内存,用户可以在占用较少 RAM 的情况下实时存储、处理和分析数据密集型应用和工作负载,这有助于避免集群的无序扩张并降低本地 TCO。

用于存储数据的英特尔® 傲腾™ 固态盘有助于进一步缩短访问已存储数据时出现的延迟,以提高吞吐量并缩短响应时间。英特尔® 傲腾™ 固态盘还能通过缓解集群和组件的无序扩张、最大限度减少活动部件并实现多层数据存储(InsightEdge Platform 可立即访问所存储的数据),帮助降低 TCO。英特尔® 傲腾™ 固态盘是对 GigaSpaces XAP MemoryXtend* (一个多层数据存储架构)的补充。这些解决方案组合在一起,可以构建一个混合存储模型,其中热数据存储在 RAM 中,冷数据存储在固态盘中,这样便可通过减少所占用的 RAM 来降低成本。

GigaSpaces XAP* 内存数据网格

GigaSpaces XAP 是 GigaSpaces InsightEdge Platform* 所采用的核心内存数据网格技术。

XAP 支持超低延迟和高吞吐量应用。它可以按需扩展应用。另外,其经过简化的架构可以避免集群和组件的无序扩张,从而最大限度减少活动部件并降低 TCO。

测试展现了新一代平台的性能

为了展示基于新一代英特尔® 至强® 可扩展处理器的 GigaSpaces InsightEdge Platform 在本地部署方面的性能表现,GigaSpaces 进行了内部测试。GigaSpaces 在 InsightEdge

Platform 上对 4 GB 大小的数据集进行了地理空间和高级数据分析,以求实时制定运营决策。这项测试比较了以下两种配置:英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列;英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列。英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列将平台的数据加载时间缩短了 33%,并将平台的查询时间缩短了 23%(参见图 2 和图 3)。

图 2. 比较结果:采用英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列的 GigaSpaces InsightEdge Platform* 的数据加载时间为 36.5 秒;采用英特尔®至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列的 GigaSpaces InsightEdge Platform* 的数据加载时间为 24.3 秒。

图 3. 比较结果:采用英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列的 GigaSpaces InsightEdge Platform* 的数据查询时间为 9.4 秒;采用英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列的 GigaSpaces InsightEdge Platform* 的数据查询时间为 7.2 秒

为何采用英特尔® 至强® 可扩展处理器

英特尔® 至强® 可扩展处理器能够缩短 GigaSpaces InsightEdge Platform 的数据加载和查询时间。因为相较于英特尔® 至强® 处理器 E5 v4 家族,英特尔® 至强® 可扩展处理器能为在线分析处理(OLAP)和在线事务处理(OLTP)提供更多的内存支持。英特尔® 至强® 可扩展处理器有六个内存通道,而测试中所用的英特尔® 至强® 处理器 E5 v4 家族只有四个通道。前者还提供了更为灵活的配置,可以更好地满足高容量高性能计算(HPC)应用和内存密集型工作负载的各种需求。

它可以支持最多 8 路,每路最高 1.5 TB 内存容量,8 路配置提供总计 12 TB 容量,从而增加了内存支持。另外,英特尔® 至强® 铂金处理器具备更多线程;配备 DDR4-2666 内存;其高速外围设备互连 *(PCIe*)3.0 带宽的通道数也多了 8 个,达到 48 个,而在英特尔® 至强® 处理器 E5 v4 家族中仅有 40 个。

除了比上一代处理器具有更多的内核和线程外,英特尔® 至强® 可扩展处理器还采用了全新的微架构,这使得所有 CPU 具有一致的形状,因而任何 CPU 都能插入相同的英特

尔 Socket P 型插槽。这意味着系统能够从双路扩展到 4 路或 8 路,而无需第三方提供的外部芯片组。

全新的微架构是英特尔® 至强® 可扩展处理器的优势之一。英特尔® 至强® 可扩展处理器采用一系列全新增强技术,增加了内存容量和新架构,从而提升了性能、可靠性、可用性、可维护性和可管理性。这些技术包括:

•     经过优化且无需配备图形处理单元(GPU)的机器学习和深度学习框架:用户无需配备 GPU,也不会影响性能。

•     集成式英特尔® QuickAssist 技术(英特尔® QAT):在软件定义基础设施(SDI)中的服务器、存储和网络之间实现了数据压缩和加密等关键工作负载的硬件辅助加速。

•     经过整合且可动态自动配置的内存、存储和网络资源:可根据工作负载的需求,在本地、整个网络和公有云中完成配置。

•     存储创新:包括支持英特尔® 傲腾™ 固态盘和英特尔® 3D NAND 固态盘,提升了数据密集型工作负载的效率和性能。

•     英特尔® 卷管理设备(英特尔® VMD):支持通过 PCIe 总线以热插拔方式更换 NVM Express*(NVMe*)固态盘,且无需关闭系统;标准化的 LED 管理功能则有助于快速识别固态盘的状态。

英特尔® 傲腾™ 固态盘可进一步提升性能

英特尔® 傲腾™ 固态盘兼具内存和存储器的特性,可以充分发挥英特尔® 至强® 可扩展处理器的潜能。英特尔® 傲腾™ 固态盘有助于消除数据中心的存储瓶颈,并能用更为经济的方式处理更大的数据集。英特尔® 傲腾™ 固态盘可以帮助您加速交付应用,降低延迟敏感型工作负载的事务成本,并改善整个数据中心的 TCO,因为这些固态盘可以:

•     实现高达 500,000 的 IOPS,相当于在队列深度为 11 的情况下,约 2 GB/s 的速度。4

•     保持一致的读取响应时间,无论驱动器的写入吞吐量是多少。读取响应时间可保持在 30 微秒(μs)以下,同时可承受高达 2 GB/s 的随机写入压力。4

•     采用英特尔® 内存驱动技术,该技术将固态盘整合到内存子系统中,并使固态盘像 DRAM 一样显示在操作系统和应用中,从而大幅扩展系统内存。

BigDL* 和英特尔® 数学核心函数库(英特尔® MKL)

GigaSpaces InsightEdge Platform 集成了 BigDL 和英特尔® 数学核心函数库(英特尔® MKL),并在各个 Spark 任务中充分利用了多线程编程技术。BigDL 是一个适用于 Spark 的分布式深度学习库,它允许用户以 Scala* 或 Python* 程序的形式创建深度学习应用,并充分利用可扩展 Spark 集群的强大功能。英特尔® MKL 包含经过高度优化、线程化和矢量化的数学函数,可以提高各种英特尔® 处理器的性能。

借助基于英特尔® 架构的 GigaSpaces InsightEdge Platform,减少基础设施的无序扩张并降低 TCO

洞察驱动型企业知道,切实可行的数据洞察可以增加企业收入、削减成本、降低风险并使公司超越竞争对手。此外,如果选择访问即时数据并根据洞察结果采取行动,企业即可通过为内存数据分析和应用使用单个平台(即基于英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘的 InsightEdge Platform)来减少基础设施并降低 TCO,从而实现上述目标。

2018-08-28 02:051637

评论

发布
暂无评论
发现更多内容

数据可视化管理尽在RazorSQL注册激活版~

真大的脸盆

Mac 数据库管理 Mac 软件 管理数据库 数据库处理

YashanDB:以自研根技术筑牢企业数字化发展根基

YashanDB

国产数据库

HUAWEI永远滴神!华为顶级网络专家总结出了这份网络协议开源手册

Java你猿哥

TCP ssm 网络协议 io IP

防lombok实现一个Getter注解,AbstractProcessor实例

Java你猿哥

Java ssm lombok

七年老程序员的三四月总结:三十岁、准备婚礼、三次分享

拭心

程序人生 总结思考

线程池是如何执行的?任务太多会怎样?

javacn.site

Go Module 语义化版本规范

江湖十年

Go 语言 go module go mod

背刺Alibaba?阿里巴巴工程师1480道Java面试题及答案整理( 2023年 整理版)

Java你猿哥

Java MySQL redis JVM mybatis

YashanDB携手中地数码联合发布空间数据存储管理解决方案

YashanDB

国产数据库

1行代码合并多个PPT文件,Python自动化办公

程序员晚枫

Python PPT 自动化办公

ChatGPT对软件测试的影响

BY林子

软件测试 ChatGPT

YashanDB推出共享集群技术 剑指核心系统替换

YashanDB

国产数据库

【论文解读|GL-Cache 】基于组级学习的缓存替换算法

Databend

阿里逆天级调优方案,内部这套Java性能调优实战宝典,堪称教科书

Java 性能优化 性能调优

深度学习进阶篇-国内预训练模型[5]:ERINE、ERNIE 3.0、ERNIE-的设计思路、模型结构、应用场景等详解

汀丶人工智能

人工智能 自然语言处理 深度学习 文心 ERNIE Transformer

CSS小技巧使用 font-variation 让文字起飞

南城FE

CSS 设计 前端开发 动画 字体

实测 亚马逊AI 编程助手 Amazon CodeWhisperer(全网最全)

攻城先森

人工智能 编程 测试 AWS 亚马逊云科技

LangChain:构建个人AI代理从这里开始

devpoint

人工智能 AI langchain

人工智能与数据分析

Data 探险实验室

人工智能 机器学习 AI 数据分析 数据

BeanUtils.copyProperties的11个坑

Java你猿哥

Java spring ssm bean

Software 软件版本的含义

Andy

未来,零信任安全还会持续火热吗?

权说安全

知识点总结

程序员小张

开源一个网页版的 Xshell,支持 FTP 和 SFTP 两种方式!

Java你猿哥

Java json ssm Cookie xshell

软件设计中你考虑过重试了吗?

Java你猿哥

Java ssm 软件设计

究诸经典,探寻大模型演变之踪迹

Baihai IDP

人工智能 深度学习 大模型 LLM 白海科技

微服务架构:构建灵活、可拓展和高效的现代应用体系

xfgg

Java 微服务

CIO视角|平台工程带来的优势与机遇

SEAL安全

IdP 平台工程 企业号 5 月 PK 榜 内部开发平台

ERP已死,秒杀系统称王!阿里巴巴内部「10亿级并发设计文档」

Java你猿哥

数据库 缓存 分布式 消息队列 秒杀系统

CISA零信任成熟度模型(译文)

权说安全

GitHub星标126K的京东「微服务进阶笔记」首次开源!好评如潮

Java你猿哥

Java 架构 微服务 微服务架构 架构师

基于英特尔® 架构的 GigaSpaces InsightEdge Platform*_架构_Intel_InfoQ精选文章