写点什么

William McKnight 关于数据平台和创建现代数据架构的见解

  • 2018-10-28
  • 本文字数:999 字

    阅读完需:约 3 分钟

在上周举行的数据架构 2018 年峰会上,William McKnight 就使用不同的数据平台创建现代数据架构做了主旨演讲

他以讨论组织的数据成熟度和业务成功之间的高度相关性开始了他的演讲。组织的数据架构越成熟,业务就越成功。成熟度较低的组织往往会把数据分散于不同的信息孤岛中。他分享了一些来自 2018 年“互联网分钟(Internet Minute)”中所发生的事情的统计数据,在互联网上每分钟发送 1 亿 8700 万封电子邮件和 1800 万条短信,进行 370 万次搜索查询等等。

人工智能(AI)是一股颠覆性的力量,而数据则是这场革命的基石。行业中出现了新的数据集:生物数据(Bio Data)。如果将生物数据和环境数据(如位置等)结合在一起,那么你将拥有进行数据分析的所有信息。

他谈到了数据培养和像数据仓库(data warehouse)和数据湖(Data Lake)这样的解决方案如何帮助完成数据工作。数据架构师也需要在 HDFS 和云存储之间做出选择。HDFS 具有更好的查询性能,而云存储的扩展性、持久性和可用性更好,并且成本更低。

通过比较关系数据库和 nosql 数据库的数据大小和工作负载复杂性,McKnight 讨论了即可使用的大数据平台的选择。

另外,他也谈到了 NewSQL 数据库,该数据库可扩展、兼容 ACID 并支持分片。这些数据库正被用于资本市场数据输入、金融交易、电信记录流和欺诈检测。

数据库的云部署提供了一些好处,包括按需和自助服务数据管理、广泛的网络访问、资源汇集、快速弹性和可测量的服务。

传统的 ETL 技术不足以用于企业范围内运行的数据平台。有各种各样的数据源,并且数据是实时流式传输的。数据架构应该考虑这些需求的流处理

企业数据虚拟化提供了对所有结构化和半结构化数据持续及时的访问,这些数据来自组织内不同的数据源,如数据仓库、市场、多维数据集、操作数据存储(operational data stores,简称 ODS)、事务源和文件系统。

他建议,数据专业人员在这次数据架构转型旅程中进行他们的挑战,应该做好进行长期战役的准备,可能会失败几次才能最终获得成功。将您的数据体系结构工作与应用程序预算和路线图项目结合起来,以便在数据架构实施方面取得进展。

McKnight 对其演讲进行了总结,建议数据专业人员在需要高性能的数据管理解决方案的地方考虑使用内存数据库,并考虑未来使用 GPU 数据库和混合数据库。

阅读英文原文: William McKnight on Data Platforms and Creating a Modern Data Architecture

感谢冬雨对本文的审校。

2018-10-28 04:081372
用户头像

发布了 199 篇内容, 共 90.0 次阅读, 收获喜欢 295 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

spring系列之IOC容器实例化过程五

Disaster

spring ioc

数据可视化:趋势类可视化图表大全

2D3D前端可视化开发

数据分析 数据可视化 数据可视化工具 可视化图表

英特尔锐炫实力出击,游戏、内容创作双管齐下!

E科讯

spring系列之IOC容器实例化过程三

Disaster

spring ioc

Spring系列之IOC容器初始化八

Disaster

spring ioc

焱融科技入选赛迪 2022 中国分布式存储报告挑战者象限

焱融科技

#高性能 #分布式文件存储 #文件存储

《Klustron Tech Talk》直播选题有奖问卷调查,获MySQL系列丛书

KunlunBase昆仑数据库

MySQL

如何将数据从旧电脑传输到新电脑,哪种文件传输方式更好

镭速

TiDB x Bolt丨超强可扩展性与弹性助力超 1 亿用户畅享出行服务

PingCAP

MySQL 数据库 TiDB

spring系列之IOC容器结构

Disaster

spring ioc

真心牛x,阿里出品2023最新版Spring全家桶进阶笔记流出,堪称Java程序员跳槽神器

程序员小毕

spring 程序员 springboot SpringCloud java面试

Spring系列之IOC容器的实例化过程一

Disaster

spring ioc

Spring系列之IOC容器实例化过程七

Disaster

spring ioc

微服务之事务处理

Disaster

微服务

Spring系列之AOP工作过程详解一

Disaster

spring

Spring系列之AOP工作过程详解二

Disaster

spring

Generative AI 新世界 | 走进文生图(Text-to-Image)领域

亚马逊云科技 (Amazon Web Services)

自然语言处理 机器学习 开源

微服务之流量控制

Disaster

微服务

spring系列之IOC容器实例化过程四

Disaster

spring ioc

软件测试/测试开发丨Selenium环境安装与使用

测试人

程序员 软件测试 自动化测试 测试开发 selenium

Spring系列之IOC容器的初始化过程九

Disaster

spring ioc

打造繁荣社区:Solaris 与 Web3 合作的力量

股市老人

微服务系列之远程服务调用

Disaster

微服务

微服务之服务容错

Disaster

微服务

spring系列之IOC容器实例化过程二

Disaster

spring ioc

Spring系列之IOC容器实例化过程六

Disaster

spring ioc

微服务之异步消息通信

Disaster

微服务

23种设计模式详解

Disaster

设计模式

微服务系列之微服务架构

Disaster

微服务

Spring系列之IOC容器初始化过程十

Disaster

spring ioc

打造繁荣社区:Solaris 与 Web3 合作的力量

鳄鱼视界

William McKnight关于数据平台和创建现代数据架构的见解_服务革新_Srini Penchikala_InfoQ精选文章