疏通数据链条上的每个“堵点”，企业该如何利用端到端解决方案释放数据价值？

2020 年 4 月，国家发展改革委、中央网信办联合印发《关于推进“上云用数赋智”行动培育新经济发展实施方案》，鼓励在具备条件的行业领域和企业范围内，探索大数据、人工智能、云计算、数字孪生、5G、物联网和区块链等新一代数字技术应用和集成创新，为企业数字化转型提供技术支撑。

上云、用数、赋智，精炼地描述了企业上云的三个阶段，三重境界。上云可以相对容易，“用数”学问则比较大，“赋智”是更高的境界。在“用数”方面，数据中台的概念曾经在国内大行其道，很快又跌落神坛。很大一部分原因就在于业界没有完全准备好能让数据中台落地的技术。

事实上，让数据更好地在企业内部流通，可以有多种解决方案。

亚马逊云科技 CEO Adam Selipsky 曾在 2022 re:Invent全球大会的主题演讲中提到，“企业需要不断从数据获得洞察，指导业务决策。”

Adam 指出，就像我们不断寻找新的方法来理解宇宙空间的浩瀚和复杂，比如在不同的光谱中观察同一个星云，数据的庞大和复杂也需要新的工具，将不断扩展的信息世界转化为洞察。这些工具需要有最好的性价比，需要最多的功能以支持所有用例，需要可扩展的工具以便处理如此庞大且不断增长的数据量，需要所有这些工具与零 ETL 一起工作，并且有强大的治理以便在访问和控制之间取得平衡。当企业拥有所有这些工具时，就可以构建一个完整的端到端数据策略，涵盖所有数据类型、用户需求和工作负载。亚马逊云科技是执行此操作的最佳场所，正在投资整个数据之旅，从数据的摄取、存储、查询，到分析、可视化和运行机器学习，以及端到端治理，使客户更容易释放数据的价值。”

当前，企业收集的数据达到 PB 甚至 EB 级别，这些数据来自多个部门、多项云服务、众多本地数据库以及第三方数据源（如来自合作伙伴解决方案和公共数据集）。在企业可以释放数据的全部价值之前，管理员和数据管理者作为数据生产者与管理者，需要在保障数据的管控和治理的前提下允许数据访问，确保数据只能由正确的人在正确的情境下访问。

另一方面，整个公司的员工（作为数据消费者）都希望发现和分析来自数据生产者的信息，以推动决策制定。数据需要被管控以保证安全，产生新的洞察需要允许数据访问，企业必须在二者之间寻求平衡。然而企业内数据多样，部门林立，用例不同，这些都对治理策略的落实提出挑战。

一些企业通过建立目录来管理信息，但这些目录系统维护起来相当耗时，需要数据生产者手动标记每个数据集，额外添加来源或描述等情境信息来保证数据可以被检索和发现，同时缺乏内嵌的访问控制来简化数据治理。企业很难保持数据分级分类的一致性，以及各个数据生产者必须保持自己的信息实时更新，这使得在整个企业中搜索数据变得非常困难，并可能导致数据过时。在这种情况下，数据消费者即使找到了所需信息，也无法快速通过目录直接向数据所有者请求访问权限，也就无法加载数据分析服务以及与他人协作。最终，决策者无法及时获得所需信息，或者可能根据不完整或过时的数据做出欠佳的决策。

针对上述挑战，亚马逊云科技发布了全新数据管理服务 Amazon DataZone，帮助客户在整个企业内对数据进行编目、发现、共享和治理。

Amazon DataZone 的作用是打通、盘活企业内的数据。首先，让管理员可以使用精细的控制工具，管理数据访问权限，确保数据不被滥用、不被非正常使用。这样，整个企业的工程师、数据科学家、产品经理、分析师和业务用户就都可以轻松访问整个企业的数据，挖掘数据价值。

数据生产者可以通过 Amazon DataZone 定义数据分级分类，配置治理策略，连接一系列亚马逊云科技服务（如 Amazon S3 和 Amazon Redshift）、合作伙伴解决方案（如 Salesforce 和 ServiceNow）和本地系统，从而创建自己的业务数据目录。Amazon DataZone 使用机器学习为每个数据集收集和建议元数据信息（如数据来源和数据类型），并根据客户的分级分类和偏好进行模型训练，不断优化，从而消除数据目录维护的繁重工作。设置目录后，数据消费者可以使用 Amazon DataZone 搜索和发现数据资产，检查元数据使用情境，请求数据集访问权限。当数据消费者开始分析数据，他们会创建一个 Amazon DataZone 数据项目，即门户系统中的一个共享空间，用户可以在其中提取不同的数据集、与同事共享访问权限、进行分析协作。