亮网络解锁器,解锁网络数据的无限可能 了解详情
写点什么

新型 IT 运维管理,基础设施和数据两手都要硬

  • 2024-02-05
    北京
  • 本文字数:1789 字

    阅读完需:约 6 分钟

新型IT运维管理,基础设施和数据两手都要硬

编前语:数据是 AI 的基石,缺数据无 AI。


AI 大模型时代,数据赋予 IT 人“新使命”


当下 IT 人在企业中扮演着运营支撑的角色。说到运维管理,相信每人都是一把辛酸泪,每天承担着繁琐、高负荷且又高风险的运维工作,但在业务规划和职业发展时又成为了“透明人”。业内有句调侃的话:“只花钱的人,不配拥有发言权”。


随着 AI 大模型应用的普及,数据成为了企业的关键资产和核心竞争力。近年来,企业的数据规模从 PB 级向百 PB 级成倍数快速增长,数据类型也从以数据库为主的结构化数据,演变成以文件、日志、视频等为主的半结构化、非结构化数据。业务部门希望数据的存储能够像图书馆一样分门别类随用随取,同时又希望数据的存储更安全、更可靠。


IT 人,已不再只是负责建设和管理 IT 资源、保障设备稳定的被动角色。 


IT 人的新使命,演变为提供优质数据服务,让数据好用,帮助业务部门用好数据!



“基础设施”和“数据”很近,但两者的“管理”却很远


针对基础设施的管理,业界普遍的做法是通过 AIOps 技术,将繁琐的人工日常运维改变为利用工具自动化执行,通过专家系统、知识图谱等智能化能力,主动发现系统隐患、自动修复故障等。生成式 AI 技术普及后,近期出现了智能客服、交互式运维等新型应用。


针对数据的管理,业界有以 Informatica、IBM 等为代表的专业 DataOps 软件供应商,支持数据集成、数据标记、数据分析、数据优化、数据市场等能力,为数据分析师、BI 分析师、数据科学家等业务团队提供服务。


笔者调研发现,目前大部分企业中的基础设施运维管理和数据管理是割裂的,由不同的团队负责,工具平台间也没有有效协同。业务上数据保存在存储等 IT 基础设施中,应该融为一体,但实际两者的管理却相隔甚远,甚至两个团队之间语言都不对齐,这样通常会带来几个弊端:


1)数据不同源:因为归属不同团队和采用不同工具,业务团队通常采用将原始数据通过 ETL 等方式复制一份至数据管理平台做分析处理。这样不仅造成存储空间浪费,还存在数据不一致、数据更新不及时等问题,影响数据分析的准确性。


2)跨地域协同难:如今企业数据中心在多个城市布局,数据在跨地域传输时,当前主要通过 DataOps 软件在主机层进行复制,这种数据传输方式不仅效率低,传输过程中也存在安全、合规、隐私等严重隐患。


3)系统优化不充分:当前通常基于基础设施资源的利用情况进行优化,因为无法感知数据布局而实现全局最优,数据的保存成本居高不下,有限增长的预算与成倍的数据规模增长之间的矛盾成为制约企业数据资产积累的关键矛盾。


IT 人,打通“基础设施”和“数据”任督二脉,开启数智化飞轮


笔者认为,IT 团队应该把“基础设施”和“数据”作为一个有机整体进行管理和优化,实现数据同源、全局最优、安全流通,扮演着数据资产管理者的重要角色。


首先,实现全局文件的统一视图。利用全局文件系统、统一元数据管理等技术,把不同地域、不同数据中心、不同类型设备中的数据形成统一的全局视图。在此基础上,能够按照热温冷、重复、过期等维度进行全局优化策略的制定,下发至存储设备执行,这种方式可以实现全局最优。基于存储层复制的压缩、加密等技术,通常可以实现数十倍的数据移动速度,效率和安全性都可以得到保证。


其次,将海量非结构化数据自动生成数据目录。通过元数据、增强型元数据等自动生成数据目录服务,把数据分门别类高效管理起来。业务团队基于目录可以自动提取满足条件的数据进行分析处理,而不用人工像大海捞针一样去找数据。笔者调研发现通过 AI 识别算法实现数据标注的技术已经较为成熟,因此可以利用开放框架将不同场景化的 AI 算法进行集成,自动分析文件内容形成多元化标签,作为增强型元数据提升数据管理的能力。


同时,数据在跨设备流动时,需要特别考虑数据主权、合规隐私等问题。存储设备中的数据应该自动分类、隐私分级、分权分域等,管理软件对数据的访问、使用、流动等策略进行统一管理,避免敏感信息和隐私数据泄露,未来数据要素交易场景这些将成为基本要求。比如,数据在流出存储设备时,首先需要对合规性、个人隐私等进行判定是否满足策略要求,否则企业将面临严重的法律法规风险。


参考架构如下:



根据笔者调研以及请教同行专家后,发现业界诸如华为存储、NetApp 这样的领先存储厂商已经发布存储和数据一体化管理的产品解决方案,相信未来会有更多厂商支持。


设备和数据两手都要抓、两手都要硬。IT 人在 AI 时代可以扮演更重要的作用。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2024-02-05 17:5114944
用户头像
鲁冬雪 InfoQ 策划主编

发布了 340 篇内容, 共 199.9 次阅读, 收获喜欢 273 次。

关注

评论

发布
暂无评论
发现更多内容

黄东旭: 关于基础软件产品价值的思考

PingCAP

iuap 助力鹏鹞环保打造智慧水务大数据运营管理平台

用友BIP

用友 用友iuap

【专访蓝景科技】5G+实时云渲染赋能数字孪生,共建元宇宙

3DCAT实时渲染

5G 数字孪生 实时云渲染

CRM系统帮助降低业务成本的方式

低代码小观

企业管理 CRM 企业管理系统 CRM系统 客户关系管理系统

分库分表中间件的高可用实践讲解

Linux服务器开发

高可用 高并发 中间件 Linux服务器开发 Linux后台开发

ModStartCMS 模块化建站系统 Laravel 9.0 版 v3.3.0

ModStart开源

4种常见分支模式解析及优劣对比 | 研发效能提升36计

阿里云云效

阿里云 云原生 研发团队 研发 分支管理

方舟开发框架容器类API的介绍与使用

HarmonyOS开发者

方舟 HarmonyOS 开发框架

基于小熊派开发板设计的云端绿化管理系统

DS小龙哥

IoT 3月月更

3 月亚马逊云科技培训与认证课程,精彩不容错过!

亚马逊云科技 (Amazon Web Services)

架构师 培训

web前端培训:React 核心调度功能的实现

@零度

前端开发 React

Apache SeaTunnel & Kyuubi 联合 Meetup | 见证中国大数据崛起!

Apache SeaTunnel

大数据 开源 大数据平台 apache 社区 Apache SeaTunnel

FinClip 黑客马拉松正式开赛,码力集结,等你来战!

Speedoooo

小程序生态 hackathon APP开发 黑客马拉松 黑客松

改进DevSecOps框架的 5 大关键技术

禅道项目管理

DevOps 敏捷 自动化

OAuthApp H5 应用开发/云托管平台

unclewang

微服务 前端 .net core H5制作 SaaS平台

安全大讲堂 | 2022产业趋势洞察:网络安全的下一个十年

腾讯安全云鼎实验室

网络安全 未来发展

功效护肤理念增强,透明质酸继续引领护肤热点

易观分析

护肤 医美 透明质酸

【51单片机】介绍

謓泽

单片机 3月月更 51

天翼云基于 KubeEdge 的大规模 CDN 场景落地实践

华为云原生团队

开源 云原生 边缘计算 边缘技术 边缘云

项目启动 | 德荣医疗携手用友iuap共谱数字化转型新篇章

用友BIP

用友 用友iuap

技术平台&应用开发专题月 | 一文搞懂全链路监控系统(上)

用友BIP

用友 用友iuap

“东数西算”超级工程上马,利好云计算但暗藏汹涌

行云管家

云计算 混合云 多云 东数西算

如何编写有效的常见问题解答(内附 5 个最佳示例)

小炮

财富管理2.0时代,券商数字营销突围之路

Speedoooo

数字化转型 解决方案 营销数字化 数字化业务战略 数字营销

Linux之traceroute命令

入门小站

Linux

大数据培训:RDD、DataFrame的区别

@零度

大数据 spark

MVCC 时光机:在 TiDB 的时空自由穿梭丨渡渡鸟复兴会赛队访谈

PingCAP

你可以不知道KFC疯狂星期四,但不能不知道InfoQ会员周!七天限时福利冲冲冲!

InfoQ写作社区官方

热门活动 InfoQ会员周

三步教企业搭建产品帮助中心

小炮

LigaAI完成A轮融资,加速打造全新的智能研发协作平台

LigaAI

行业资讯 智能 LigaAI A轮融资 研发协作平台

在线TOML转YAML工具

入门小站

工具

新型IT运维管理,基础设施和数据两手都要硬_大数据_鲁冬雪_InfoQ精选文章