【FCon上海】与行业领袖共话AI大模型、数字化风控等前沿技术。 了解详情
写点什么

元数据

收录了 元数据 频道下的 50 篇内容

大数据杂谈微课堂|大数据治理技术核心,可扩展的元数据架构设计

大数据杂谈微信群分享内容。 整个分享分为三个部分: 第一部分,说说我和我的团队眼中的元数据。 第二部分简单介绍如何实现元数据管理的架构。 第三部分,我将通过举例的方式,说明元数据的应用价值。

合理使用元数据工具,解决大数据治理落地难点

元数据并不止存在于数据领域,近年来,元数据管理的范围在不断扩大,从简单的库表,到整个数据平台,再到服务管理,不断突破传统元数据管理的范畴。InfoQ采访了普元软件产品部副总、大数据产品线总经理王轩,了解如下问题:“元数据”和“大数据”之间的异同之处在哪里?大数据环境下的元数据管理有什么特点?元数据元数据驱动的微服务架构有何特点?企业大数据治理难点在哪里?

元数据驱动的SaaS架构如何设计?
元数据驱动的 SaaS 架构如何设计?

本文介绍元数据驱动的SaaS架构的设计思路。

元数据驱动设计 —— 为动态移动应用创建 Web API

十年之前,软件架构师Kevin Perera创造了一种架构的设计方法,被称为“元数据驱动设计与开发”。在本文中,Aaron Kendall将详细讨论如何使用这种设计方法,并且通过实现一个元数据驱动的移动应用,将这一设计方法与RESTful服务或HATEOAS等现有技术的异同之处进行了比较。

元数据驱动设计 —— 设计一套用于 API 数据检索的灵活引擎

我们通常使用文件或FTP处理批量数据。随着整个世界向API的方向发展以促进协作,对于数据API提出了哪些需求呢?本文介绍了一种可进行批量数据检索的元数据驱动架构。我们将同时使用两种API以获得数据的变更信息,以及数据记录本身。本文的示例展现了如何使用元数据对API响应进行参数化。

基于资源的架构:资源元数据

在“基于资源的架构”系列的第二篇文章中,Brian Sletten讨论了REST带来的好处、资源由什么构成、元数据与资源关联,数据元数据、SPARQL、RDF、RDF事实表达、RDF三元组与RDF 查询的公共模型中的陷阱,以及一些RDF查询示例。

元数据驱动设计——连接设计与开发的敏捷桥梁

近年来,敏捷已经有许多著名的成功案例。不过,有人指出,项目效率和团队创造力不可兼得。在本文中,来自Barnes&Noble的Aaron Kendall探讨了一种他们用过的方法。该方法用于解决这些潜在的冲突,并将整个的架构设计和实现相结合。

告别ZooKeeper:Kafka将提供自管理的元数据仲裁机制
告别 ZooKeeper:Kafka 将提供自管理的元数据仲裁机制

据了解,该提案目前仍处于讨论阶段,在通过社区讨论后才会有PR能被Merge。如果顺利通过,这将会是Kafka近期比较大的一个变动,对于原生云架构运维等都会带来影响。

从业务数据库到元数据,SaaS架构设计经验全总结
从业务数据库到元数据,SaaS 架构设计经验全总结

本文力求从实用的角度分享一些关于SaaS架构的经验要点

道不尽的元数据

在多数情况下,寻找相关的在线内容仍是个“猜谜”游戏。尽管绝大多数在线信息格式已实现可搜索,但视频世界却是最后一个未攻破的“不透明”堡垒。最具代表性的例证是在线搜索仅限于关键字,而这些关键字必须在上载过程中手动输入。

分布式存储的元数据设计

虽然分布式存储的存储层和上传下载这一层很重要,但在元数据方面有哪些选择,这些选择有什么优缺点则更为重要。在QCon北京2015大会上,七牛云存储首席架构师李道兵结合自己多年的实践和思考,分享了关于存储设计的几大方法,并详细地分析了各自的利弊。

元数据驱动设计:创建用户友好的企业级 DSL

我们能否创建一种语言,让非技术专家也能够轻松掌握,同时又能够保证那些规则在业务领域中的应用?我们能否在运行时对该语言的某个片段进行解释与执行,而无需对系统进行重新编译或重新部署?Aaron Kendall将在本文中展现如何为非技术背景的业务人员创建一种领域特定语言(DSL)。

有赞数据仓库元数据系统实践
有赞数据仓库元数据系统实践

本文出自《有赞技术2018年度合集》系列

与被捧上天的AI相比,元数据可能更重要
与被捧上天的 AI 相比,元数据可能更重要

在网络搜索领域,元数据或将逐步取代 AI。

JVM元数据区的内存泄漏之谜
JVM 元数据区的内存泄漏之谜

本文介绍一个SRE处理的与元数据区相关,且发生在生产环境的真实案例。

SQL Server 大负载的生产环境下的性能优化:初识元数据优化

虽然说现在NOSQL相关的技术非常的火热,但是RMDB(关系型数据库)与NOSQL是并存的,并且适用在各种的项目中。在一般的企业级开发中,主要还是RMDB占据主导地位。并且在互联网项目中,也不是摒弃了RMDB,例如MySQL就在很多的互联网应用中发挥着作用。所以,对数据库的调优是个值得深入学习的课题。本系列文章,主要讲述与SQL Server相关的调优知识,希望能够为朋友们带来一些帮助。

华为云MySQL新增MDL锁视图特性,快速定位元数据锁问题(一)
华为云 MySQL 新增 MDL 锁视图特性,快速定位元数据锁问题(一)

MDL锁视图主要由7个字段组成

Hadoop 和元数据(解决阻抗失配问题)

Apache HCatalog这个新项目是针对Hadoop表和存储的管理层,这个管理层可以让Pig、MapReduce和Hive等不同的数据处理工具更加容易的进行数据的交互操作。HCatalog为用户提供了数据的关联视图,用户无需操心自己的数据是用RCFile、文本还是序列格式存储的

使用“Grafeas”元数据 API 和“Kritis”部署授权管理软件供应链

在最近谷歌云平台(Google Cloud Platform,简称GCP)博客探讨容器安全的系列文章中,GCP团队已经提供了Grafeas的更多细节:通用API和语言,用于存储、查询以及检索跟软件组件有关的元数据,以及Kritis:拟议的框架,允许使用存储在Grafeas中的元数据以构建和使用Kubernetes实施实时部署策略。

利用 AWS Lake Formation 探索元数据:第 1 部分(二)
利用 AWS Lake Formation 探索元数据:第 1 部分(二)

数据湖是一种用于创建单个存储库以存储和分析结构化和非结构化数据的日益流行的方法。

元数据专题_资料-InfoQ中文网