9月7日-8日,相约 2023 腾讯全球数字生态大会!聚焦产业未来发展新趋势! 了解详情
写点什么

制定更智能的数据策略

  • 2018-08-28
  • 本文字数:3338 字

    阅读完需:约 11 分钟

简介

滴水成河,积水成渊,许多企业今天面临的存储危机其实是数据字节累积的结果。数据的增长表现在三个不同方面:

• 数量:数据从广泛的各种来源(从物联网传感器到客户点击)不断地流出。

• 速度:企业必须适应以各种速度(无论是每分钟 1 MB 还是每秒钟几十 GB)流入的数据。

• 多样性:非结构化数据比以往更加多样、更难处理且占用更多空间。

数据不断变化的性质对存储提出了新的需求,尤其是在非结构化数据的数量、速度和多样性极速增长的情况下。当今非结构化数据形式多样,流动速度极快:来自嵌入式摄像头的视频、来自照片和 x 射线的图像、电子邮件和聊天消息、社交媒体贴子、自然语言音频、扫描文档和 PDF,以及网页内容和互动等。

另一方面,企业对其数据产生了新的需求,他们使用数据来进行业务分析、预测性分析和实现机器学习过程。数据可用于制定业务决策、预测结果、分析用户行为、解释自然语言、划分对象类型、模拟复杂系统甚至操作机器。

这种演变的结果是,对于业务运营而言,存储基础设施现在与服务器和应用同样重要。数据存储不再是战术性的,而是具有战略意义。能否快速简便地访问其中的数据对业务成功有着直接影响。智能数据策略能够将业务目标和应用要求与面向未来的存储基础设施(充分利用存储技术的最新创新)相结合,帮助企业迈向成功。

第一章:探讨传统存储层的取舍

传统存储基础设施通常根据业务需求,将数据划分为两到四个分层:

尽管分层有助于满足业务要求并能更好地利用现有存储资源,但当前的存储方式也有取舍,尤其是涉及传统的、专有的或直接连接的存储系统时。

• 不充分的分层无法对许多不同类型和用途的数据提供精细的控制

• 存储管理员经常被迫要在成本与性能之间以及速度和容量之间作出艰难的选择

• 当前的选项适用于推测性的部署(超额支出),其目的是避免由于配置不足而导致业务服务停止运转

• 传统存储系统经常无法支持现代应用的容量和性能要求

• 专有存储系统可能难以扩展且扩展成本很高

虽然许多 IT 机构继续使用现有存储基础设施,但这些基础设施可能已无法满足业务需求,也无法应对面临的挑战。传统存储系统往往不能灵活地适应不断变化的要求,且不能轻松地扩展。许多情况下,此类存储设施购买得越多,造成的瓶颈就越多,从而更难以访问和使用您的数据。

越来越多的数据被视为“热数据”,但将这些数据全部保留在 DRAM 中并不经济。而且,DRAM 也不能轻松扩展。然而,传统固态盘并不能取代 DRAM。它们无法提供必要的速度。同时,NAND 闪存技术本身会导致存储和缓存的瓶颈,特别是在处理大数据集时。

第二章:采用新的方式构建内存和存储

新技术不断改变和改进 IT 环境,加速所支持的服务运转。我们现在拥有 NVMe over Fabrics,可为外部存储提供闪存速度。我们还拥有超融合基础设施解决方案、软件定义存储、云和混合云存储,以及其他多种选项。但是,内存和存储技术在 25 年来没有根本性的变化,直到英特尔® 傲腾™ 固态盘的出现。

英特尔® 傲腾™ 固态盘基于 3D XPoint™ 技术,与基于 3D NAND 的技术相比,在耐久性和低延迟方面有着几个数量级的优势。使用它们可将内存和存储的最佳特性相结合来实现基于服务器的存储架构。

英特尔® 傲腾™ 固态盘可提供:

• 更高的 I/O 性能和更低的延迟(相比基于 NAND 的固态盘),从而提供可预测、一致的快速服务

• 出色的高耐久性,支持主内存所处理的相同类型的高写入流量

• 更高密度,且成本远低于 DRAM 英特尔® 傲腾™ 固态盘支持与内存相同的实时访问,从而消除瓶颈,更快、更方便地访问大型数据集。它们可提供更强的服务器扩展能力,降低对延迟敏感型工作负载的事务处理成本,同时加速算法执行来提高数据集处理效率。

第三章:创建新分层以实现更精确的数据控制

英特尔® 傲腾™ 固态盘可帮助您的 IT 基础设施实现两个关键目标:创建更快的存储和扩展内存。

1. 创建更快的存储

英特尔® 傲腾™ 固态盘可提供令人惊叹的快速存储,从而提升性能、降低延迟并提高在负载下(即使是 OLTP 和高性能系统)的响应能力。它们可使用直接连接的存储来加速严苛应用的运行,并能轻松扩展。这样,英特尔® 傲腾™固态盘就变成一个更耐久、更快速的存储层,让服务器实现更高的工作效率且不会产生数据孤岛。

2 扩展内存

英特尔® 傲腾™ 存储还可以扩展内存,因为它能够以固态盘价格提供近似于 DRAM 的速度,并通过聚合共享内存池来经济地提高容量。这种更大的容量池可支持更大的内存中工作数据集。在某些情况下,它甚至可以替代 DRAM,进一步降低基础设施成本。有了更大的内存池为分析和机器学习过程提供数据,企业可以更快地挖掘出更多洞察信息。通过这种方式,英特尔® 傲腾™ 存储变成了一个更易扩展、更加实用的内存层。

3 兼具更快的存储和扩展内存

英特尔® 傲腾™ 固态盘让 IT 机构能够在基础设施中引入新的存储和内存层,对数据集的所在位置和访问速度实现更精确的控制。英特尔® 傲腾™ 固态盘既能增强(甚至替代)现有存储层以提高其容量并加快访问速度(尤其对于“较热”的数据存储),又能增强 DRAM 以经济高效地为热数据带来更多容量。

第四章:模糊内存和存储的界限

英特尔® 傲腾™ 固态盘与英特尔® 3D NAND 固态盘配合使用,可以打造更强大的存储基础设施组合。英特尔® 傲腾™ 固态盘可提供业界一流的吞吐量和低延迟,而英特尔® 3D NAND 技术可以低成本提供高密度。这两种技术配合使用,可加快存储缓存速度并提高批量存储的容量和处理能力,有助于弥合本地 CPU 数据和长期数据之间的差距。

英特尔® 傲腾™ 固态盘与英特尔® 3D NAND 固态盘和英特尔® 至强® 可扩展处理器相配合,可为整个基础设施带来极其出色的性能。在近期对由英特尔® 至强® 可扩展处理器、VMwareESXi 和 vSAN、英特尔® 傲腾™ 固态盘和英特尔® 3D NAND 固态盘组成的超融合集群进行测试时,该解决方案与上一代系统存储技术相比,支持的每集群虚拟机数量多达 2.5 倍,性价比提升高达 2.3 倍。

第五章:制定智能数据策略

数据不再只是对业务运作起辅助作用。您的数据策略直接影响到业务成效,因此,您需要一个匹配业务目标和优先事项的长期存储计划,而不是将存储看作一种后续补充或者业务流程的最后一环。

更智能的数据策略包括现代化的基础设施,体现从旧数据仓库到当今实时数据中心的转变,并为满足明天的需求奠定基础。它支持企业的所有各种工作负载,包括 HPC、云、虚拟机,以及大数据和分析等等。它的灵活性和可扩展性能够适应未来的变化和增长,而无需重新设计。

您的数据策略还应对适当的数据使用适当的介质,从而优化存储和内存资源的效率和性能。这意味着要根据下列因素进行智能数据分层:

• 所拥有的数据类型,现在和未来长期计划如何使用数据

• 支持的工作负载类型

• 关键业务应用的性能要求,包括吞吐量和延迟

• 用户和应用的数据访问要求

• 监管和合规要求

• 预算限制

符合业务计划和优先事项的智能数据策略能帮助企业缩短上市时间、优化投资回报,并凭借卓越的服务质量从竞争对手中脱颖而出。

制定智能数据策略不适合由自己孤立地完成。一个精心选择的技术合作伙伴团队可提供专家指导,确保最佳利用您的现有资产和未来投资。您的团队可能包括现有 IT 合作伙伴、原始设备制造商(OEM)、软件供应商和云服务提供商,以及英特尔这样视野广阔的技术领袖,他们能让您的数据策略提升到更高层次。通过卓有远见的技术合作伙伴让您能够预见未来的存储发展趋势。

第六章:后续行动

数据中心正在快速变化并将一直不断地变化,新的应用和数据要求以前所未有的速度涌现。您的存储基础设施需要凭借智能数据策略做好准备,该策略必须整体反映全局业务策略和未来需求。

英特尔可助您一臂之力,我们提供的英特尔®傲腾™ 固态盘等相关解决方案将以全新方式对性能、容量和可扩展性加以平衡,同时为您最佳地提升数据、存储和内存的经济性。英特尔® 傲腾™ 固态盘与英特尔® 3D NAND 固态盘和英特尔® 至强® 可扩展处理器相配合,可帮助企业应对最苛刻的数据挑战。英特尔拥有包括硬件原始设备制造商、软件供应商、云服务提供商和高级分析提供商在内的强大的生态系统,可助您创建面向未来的存储基础设施,推动业务不断向前发展。

活动推荐:

2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。

2018-08-28 05:53715

评论

发布
暂无评论
发现更多内容

第四次作业 设计千万级学生管理系统的考试试卷存储方案

函数方程(弘宇)

架构实战营 - 模块4- 作业

笑春风

模块4 学习总结

TH

架构实战营

【架构实战营】第 4 模块作业

swordman

架构实战营

美团二面:Redis与MySQL双写一致性如何保证?

捡田螺的小男孩

数据库 面试 一致性 缓存;

python-运算函数-sum

Geek_6370d5

模块 4 - 千万级学生管理系统的考试试卷存储方案

小遵

Authorization object在哪些ABAP代码里使用到

Jerry Wang

CRM SAP abap Netweaver

架构实战营作业4

大肚皮狒狒

Kafka-详细笔记

ninetyhe

分布式 高并发系统设计 消息系统 Kafk

数据科学指南#基础篇 Matplotlib 入门

Lev

Python 数据科学 matplotlib data-science

利用Chrome的Heap Snapshot功能分析一个时间段内的内存占用率

Jerry Wang

JavaScript chrome

SAP CDS view注解解析 - @Environment.systemField

Jerry Wang

SAP abap

架构实战营模块四作业

薛定谔的指南针

架构实战营

HBase常见问题

数据社

大数据 HBase 5月日更

架构训练营模块四作业

Geek_e0c25c

架构训练营

架构实战营 模块四:课后作业

👈

架构实战营

Flume知识点总结

大数据技术指南

flume 5月日更

使用DOM Breakpoints找到修改属性的Javascript代码

Jerry Wang

JavaScript html chrome

架构师实战营:模块四 千万级学生管理系统的考试试卷存储方案

ifc177

#架构实战营

模块四作业 - 考试试卷存储方案

张大彪

学生考试系统存储设计

王硕

架构训练营

架构实战营 模块四:学习总结

👈

架构实战营

Java Elasticsearch 使用

Java elasticsearch

千万级学生管理系统的考试试卷存储方案

颜培攀

架构实战营

Flink的Time与Window

五分钟学大数据

大数据 5月日更

模块4作业 千万级学生管理系统考试试卷存储方案

TH

架构实战营

实战|教你用Python玩转Mysql

Python研究者

Python MySQL MySQL 运维

Scrum Team不等于Development Team——《Scrum指南》重读有感(2)

Bruce Talk

Scrum 敏捷 随笔 Agile

另一种方式实现事务码SE16里的结果集修改

Jerry Wang

JavaScript SAP Fiori

让秋招飞,Java岗高频面试题盘点,站着就把offer给拿了

北游学Java

Java 面试 秋招

  • 扫码添加小助手
    领取最新资料包
制定更智能的数据策略_架构_Intel_InfoQ精选文章