写点什么

疏通数据链条上的每个“堵点”,企业该如何利用端到端解决方案释放数据价值?

  • 2023-01-18
    北京
  • 本文字数:1714 字

    阅读完需:约 6 分钟

疏通数据链条上的每个“堵点”,企业该如何利用端到端解决方案释放数据价值?

2020 年 4 月,国家发展改革委、中央网信办联合印发《关于推进“上云用数赋智”行动培育新经济发展实施方案》,鼓励在具备条件的行业领域和企业范围内,探索大数据、人工智能、云计算、数字孪生、5G、物联网和区块链等新一代数字技术应用和集成创新,为企业数字化转型提供技术支撑。

 

上云、用数、赋智,精炼地描述了企业上云的三个阶段,三重境界。上云可以相对容易,“用数”学问则比较大,“赋智”是更高的境界。在“用数”方面,数据中台的概念曾经在国内大行其道,很快又跌落神坛。很大一部分原因就在于业界没有完全准备好能让数据中台落地的技术。

 

事实上,让数据更好地在企业内部流通,可以有多种解决方案。

 

亚马逊云科技 CEO Adam Selipsky 曾在 2022 re:Invent全球大会的主题演讲中提到,“企业需要不断从数据获得洞察,指导业务决策。”

 

Adam 指出,就像我们不断寻找新的方法来理解宇宙空间的浩瀚和复杂,比如在不同的光谱中观察同一个星云,数据的庞大和复杂也需要新的工具,将不断扩展的信息世界转化为洞察。这些工具需要有最好的性价比,需要最多的功能以支持所有用例,需要可扩展的工具以便处理如此庞大且不断增长的数据量,需要所有这些工具与零 ETL 一起工作,并且有强大的治理以便在访问和控制之间取得平衡。当企业拥有所有这些工具时,就可以构建一个完整的端到端数据策略,涵盖所有数据类型、用户需求和工作负载。亚马逊云科技是执行此操作的最佳场所,正在投资整个数据之旅,从数据的摄取、存储、查询,到分析、可视化和运行机器学习,以及端到端治理,使客户更容易释放数据的价值。”

 

当前,企业收集的数据达到 PB 甚至 EB 级别,这些数据来自多个部门、多项云服务、众多本地数据库以及第三方数据源(如来自合作伙伴解决方案和公共数据集)。在企业可以释放数据的全部价值之前,管理员和数据管理者作为数据生产者与管理者,需要在保障数据的管控和治理的前提下允许数据访问,确保数据只能由正确的人在正确的情境下访问。

 

另一方面,整个公司的员工(作为数据消费者)都希望发现和分析来自数据生产者的信息,以推动决策制定。数据需要被管控以保证安全,产生新的洞察需要允许数据访问,企业必须在二者之间寻求平衡。然而企业内数据多样,部门林立,用例不同,这些都对治理策略的落实提出挑战。

 

一些企业通过建立目录来管理信息,但这些目录系统维护起来相当耗时,需要数据生产者手动标记每个数据集,额外添加来源或描述等情境信息来保证数据可以被检索和发现,同时缺乏内嵌的访问控制来简化数据治理。企业很难保持数据分级分类的一致性,以及各个数据生产者必须保持自己的信息实时更新,这使得在整个企业中搜索数据变得非常困难,并可能导致数据过时。在这种情况下,数据消费者即使找到了所需信息,也无法快速通过目录直接向数据所有者请求访问权限,也就无法加载数据分析服务以及与他人协作。最终,决策者无法及时获得所需信息,或者可能根据不完整或过时的数据做出欠佳的决策。

 

针对上述挑战,亚马逊云科技发布了全新数据管理服务 Amazon DataZone,帮助客户在整个企业内对数据进行编目、发现、共享和治理。

 

Amazon DataZone 的作用是打通、盘活企业内的数据。首先,让管理员可以使用精细的控制工具,管理数据访问权限,确保数据不被滥用、不被非正常使用。这样,整个企业的工程师、数据科学家、产品经理、分析师和业务用户就都可以轻松访问整个企业的数据,挖掘数据价值。

 

数据生产者可以通过 Amazon DataZone 定义数据分级分类,配置治理策略,连接一系列亚马逊云科技服务(如 Amazon S3 和 Amazon Redshift)、合作伙伴解决方案(如 Salesforce 和 ServiceNow)和本地系统,从而创建自己的业务数据目录。Amazon DataZone 使用机器学习为每个数据集收集和建议元数据信息(如数据来源和数据类型),并根据客户的分级分类和偏好进行模型训练,不断优化,从而消除数据目录维护的繁重工作。设置目录后,数据消费者可以使用 Amazon DataZone 搜索和发现数据资产,检查元数据使用情境,请求数据集访问权限。当数据消费者开始分析数据,他们会创建一个 Amazon DataZone 数据项目,即门户系统中的一个共享空间,用户可以在其中提取不同的数据集、与同事共享访问权限、进行分析协作。


2023-01-18 17:185423
用户头像

发布了 486 篇内容, 共 160.1 次阅读, 收获喜欢 617 次。

关注

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

评论

发布
暂无评论
发现更多内容

Nginx 部署的虚拟主机如何使用 Let's Encrypt 来进行加密 https

HoneyMoose

iOS中方法和函数的区别

NewBoy

前端 移动端 iOS 知识体系

【LeetCode】玩筹码Java题解

Albert

LeetCode 7月月更

2000字教你如何玩转Linux man命令,隐藏技能非常nice

wljslmz

Linux 运维 man 7月月更

模块6(拆分电商系统为微服务)

Geek_701557

LeetCode-136. 只出现一次的数字(java)

bug菌

Leet Code 7月月更

MySQL灵魂16问,你能撑到第几问?

了不起的程序猿

Java MySQL 面试题 java程序员

双目立体匹配步骤

秃头小苏

7月月更 双目立体匹配

SAP Fiori 注解 @ObjectModel.readOnly工作原理解析

Jerry Wang

SAP abap Fiori SAP UI5 7月月更

Java多线程案例之线程池

未见花闻

7月月更

Spring Cloud源码分析之Eureka篇第六章:服务注册

程序员欣宸

Java SpringCloud 7月月更

学一招,docker自启动以及容器自启动的解决方案

爱写Bug的麦洛

Docker docker image

【这款插件在IntelliJ IDEA中,可以大幅提升工作效率,强烈推荐!】

了不起的程序猿

Java java程序员 实用工具

Python|「函数」递归与迭代

AXYZdong

Python 7月月更

Nginx Http模块是如何处理请求的?

Ethan

ngnix

ORACLE进阶(十)start with connect by 实现递归查询

No Silver Bullet

oracle 递归 7月月更

跨域的问题终于能解决了

是乃德也是Ned

JavaScript ajax 前端 7月月更

神经网络中如何确定隐藏层的层数和大小

infoQ-LolitaAnn

人工智能 神经网络 7月月更

NumPy 与 Python 内置列表计算标准差的区别

宇宙之一粟

Numpy 7月月更

Android 小巧技-不用图片框架,实现加载类似微博超长图片的手法

芝麻粒儿

android 7月月更

内部排序——选择排序

乔乔

7月月更

笔记

IT蜗壳-Tango

7月月更

QT 实现文件夹的删除

小肉球

qt 7月月更

注入攻击

沃德

程序员 7月月更

ArrayBlockingQueue源码分析-构造方法

zarmnosaj

7月月更

融云入选优秀厂商!|《2022中国信创生态市场研究及选型评估报告》(附下载)发布

融云 RongCloud

spark调优(五):提交任务优化

怀瑾握瑜的嘉与嘉

7月月更

iOS中SEL类型

NewBoy

ios 前端 移动端 iOS 知识体系 7月月更

java零基础入门-抽象类

喵手

Java 7月月更

给自己点鸡汤吧

沃德

程序员 心灵鸡汤 7月月更

解读《深入理解计算机系统(CSAPP)》第5章优化程序性能

小明Java问道之路

优化逻辑 优化 优化技巧 程序优化 7月月更

疏通数据链条上的每个“堵点”,企业该如何利用端到端解决方案释放数据价值?_文化 & 方法_李冬梅_InfoQ精选文章