NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

新型 IT 运维管理,基础设施和数据两手都要硬

  • 2024-02-05
    北京
  • 本文字数:1789 字

    阅读完需:约 6 分钟

新型IT运维管理,基础设施和数据两手都要硬

编前语:数据是 AI 的基石,缺数据无 AI。


AI 大模型时代,数据赋予 IT 人“新使命”


当下 IT 人在企业中扮演着运营支撑的角色。说到运维管理,相信每人都是一把辛酸泪,每天承担着繁琐、高负荷且又高风险的运维工作,但在业务规划和职业发展时又成为了“透明人”。业内有句调侃的话:“只花钱的人,不配拥有发言权”。


随着 AI 大模型应用的普及,数据成为了企业的关键资产和核心竞争力。近年来,企业的数据规模从 PB 级向百 PB 级成倍数快速增长,数据类型也从以数据库为主的结构化数据,演变成以文件、日志、视频等为主的半结构化、非结构化数据。业务部门希望数据的存储能够像图书馆一样分门别类随用随取,同时又希望数据的存储更安全、更可靠。


IT 人,已不再只是负责建设和管理 IT 资源、保障设备稳定的被动角色。 


IT 人的新使命,演变为提供优质数据服务,让数据好用,帮助业务部门用好数据!



“基础设施”和“数据”很近,但两者的“管理”却很远


针对基础设施的管理,业界普遍的做法是通过 AIOps 技术,将繁琐的人工日常运维改变为利用工具自动化执行,通过专家系统、知识图谱等智能化能力,主动发现系统隐患、自动修复故障等。生成式 AI 技术普及后,近期出现了智能客服、交互式运维等新型应用。


针对数据的管理,业界有以 Informatica、IBM 等为代表的专业 DataOps 软件供应商,支持数据集成、数据标记、数据分析、数据优化、数据市场等能力,为数据分析师、BI 分析师、数据科学家等业务团队提供服务。


笔者调研发现,目前大部分企业中的基础设施运维管理和数据管理是割裂的,由不同的团队负责,工具平台间也没有有效协同。业务上数据保存在存储等 IT 基础设施中,应该融为一体,但实际两者的管理却相隔甚远,甚至两个团队之间语言都不对齐,这样通常会带来几个弊端:


1)数据不同源:因为归属不同团队和采用不同工具,业务团队通常采用将原始数据通过 ETL 等方式复制一份至数据管理平台做分析处理。这样不仅造成存储空间浪费,还存在数据不一致、数据更新不及时等问题,影响数据分析的准确性。


2)跨地域协同难:如今企业数据中心在多个城市布局,数据在跨地域传输时,当前主要通过 DataOps 软件在主机层进行复制,这种数据传输方式不仅效率低,传输过程中也存在安全、合规、隐私等严重隐患。


3)系统优化不充分:当前通常基于基础设施资源的利用情况进行优化,因为无法感知数据布局而实现全局最优,数据的保存成本居高不下,有限增长的预算与成倍的数据规模增长之间的矛盾成为制约企业数据资产积累的关键矛盾。


IT 人,打通“基础设施”和“数据”任督二脉,开启数智化飞轮


笔者认为,IT 团队应该把“基础设施”和“数据”作为一个有机整体进行管理和优化,实现数据同源、全局最优、安全流通,扮演着数据资产管理者的重要角色。


首先,实现全局文件的统一视图。利用全局文件系统、统一元数据管理等技术,把不同地域、不同数据中心、不同类型设备中的数据形成统一的全局视图。在此基础上,能够按照热温冷、重复、过期等维度进行全局优化策略的制定,下发至存储设备执行,这种方式可以实现全局最优。基于存储层复制的压缩、加密等技术,通常可以实现数十倍的数据移动速度,效率和安全性都可以得到保证。


其次,将海量非结构化数据自动生成数据目录。通过元数据、增强型元数据等自动生成数据目录服务,把数据分门别类高效管理起来。业务团队基于目录可以自动提取满足条件的数据进行分析处理,而不用人工像大海捞针一样去找数据。笔者调研发现通过 AI 识别算法实现数据标注的技术已经较为成熟,因此可以利用开放框架将不同场景化的 AI 算法进行集成,自动分析文件内容形成多元化标签,作为增强型元数据提升数据管理的能力。


同时,数据在跨设备流动时,需要特别考虑数据主权、合规隐私等问题。存储设备中的数据应该自动分类、隐私分级、分权分域等,管理软件对数据的访问、使用、流动等策略进行统一管理,避免敏感信息和隐私数据泄露,未来数据要素交易场景这些将成为基本要求。比如,数据在流出存储设备时,首先需要对合规性、个人隐私等进行判定是否满足策略要求,否则企业将面临严重的法律法规风险。


参考架构如下:



根据笔者调研以及请教同行专家后,发现业界诸如华为存储、NetApp 这样的领先存储厂商已经发布存储和数据一体化管理的产品解决方案,相信未来会有更多厂商支持。


设备和数据两手都要抓、两手都要硬。IT 人在 AI 时代可以扮演更重要的作用。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2024-02-05 17:5114921
用户头像
鲁冬雪 InfoQ 策划主编

发布了 338 篇内容, 共 196.9 次阅读, 收获喜欢 270 次。

关注

评论

发布
暂无评论

今儿新学会一个写日志技能:双缓冲机制

华为云开发者联盟

线程 日志 应用程序 双缓冲区 Web程序

恒源云(GPUSHARE)_CV领域有关【直方图】的论文小记

恒源云

深度学习 CV

使用 Visual Studio Code 编写和激活 ABAP 代码

Jerry Wang

vscode abap 1月月更 vs-code

【堡垒机】2022年企业买堡垒机就选行云管家!五大优点看这里!

行云管家

等保 堡垒机 过等保 等保2.0

为企业选择合适的CRM系统的技巧

低代码小观

CRM 客户关系管理 CRM系统 客户关系管理系统 企业管理软件

星环科技AIoT平台让工业制造设备更智能、更耐用

星环科技

【分布式技术专题】「Zookeeper系列」为大家介绍一下Zookeeper的"开发伴侣"—Curator-Framework(基础篇)

洛神灬殇

zookeeper curator 1月月更 CuratorFramework

【分布式技术专题】「Zookeeper系列」为大家介绍一下 Zookeeper 的"开发伴侣"—Curator-Framework(组件篇)

洛神灬殇

zookeeper ZooKeeper原理 1月月更 Curator-Framework

阿里云消息队列 2021 新功能新特性重要里程碑

阿里巴巴云原生

kafka 阿里云 RocketMQ 云原生 消息队列

有关 TiDB 升级的二三事——教你如何快乐升级

PingCAP

main函数你到底知道多少

恒生LIGHT云社区

后端 开发 Java’ main方法

12月发布两大特别专区!一图了解龙蜥社区大事件

OpenAnolis小助手

开源 操作系统 运营

网易云信又双叒受到Gartner关注,看看这次的报告说了什么?

网易云信

Gartner 通信平台 CPaaS

如何高效上架HarmonyOS原子化服务?这个平台帮你搞定!

HarmonyOS开发者

HarmonyOS

MASA Framework - 整体设计思路

MASA技术团队

C# .net 框架 Framework dapr

澳鹏中国智能可配置工作流(Workflow 2.0)全新升级

澳鹏Appen

人工智能 工作流 workflow 数据标注 训练数据

大数据实践:数据指标中心的建设思路

五分钟学大数据

大数据 1月月更

【有奖评测】无影云电脑评测征集令,晒出评测赢万元豪礼

阿里云弹性计算

阿里云 无影云电脑 征文活动

java开发之SpringBoot实现自动执行代码

@零度

JAVA开发 springboot

Android技术分享| Android WebRTC 对 AudioRecord 的使用

anyRTC开发者

android 音视频 WebRTC 移动开发 AudioRecord

深度解读企业云上办公利器「无影云电脑」

阿里云弹性计算

阿里云 无影云电脑

阿里云视频云vPaaS低代码音视频工厂:极速智造,万象空间

阿里云视频云

音视频 低代码 视频云 视频开发

rosdep update遇到ERROR: error loading sources list: The read operation timed out问题

Ayosh

ROS

极客星球 | MobPush之FCM离线消息解密

MobTech袤博科技

FCM 离线消息

人员流动大,简历管理纷杂怎么办?用低代码可以解决嘛?

优秀

低代码

数据库审计设备选择哪家好?谁能告知?

行云管家

数据库 服务器 数据库审计

【数据库】查询优化之子连接优化

恒生LIGHT云社区

数据库 sql SQL子查询 子查询

复旦大学陈平博士:网络攻击猖獗,如何应对数据安全与内生安全挑战?

星环科技

网络安全

大数据开发之Spark SQL 的 Catalyst介绍

@零度

大数据 spark SQL

Apache 基金会年度报告 | ShardingSphere 代码提交量位列前十

SphereEx

数据库 开源 基金会 ShardingSphere SphereEx

盘点 2022 云原生实战峰会重磅发布

阿里巴巴云原生

阿里云 开源 容器 云原生

新型IT运维管理,基础设施和数据两手都要硬_大数据_鲁冬雪_InfoQ精选文章