AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

William McKnight 关于数据平台和创建现代数据架构的见解

  • 2018-10-28
  • 本文字数:999 字

    阅读完需:约 3 分钟

在上周举行的数据架构 2018 年峰会上,William McKnight 就使用不同的数据平台创建现代数据架构做了主旨演讲

他以讨论组织的数据成熟度和业务成功之间的高度相关性开始了他的演讲。组织的数据架构越成熟,业务就越成功。成熟度较低的组织往往会把数据分散于不同的信息孤岛中。他分享了一些来自 2018 年“互联网分钟(Internet Minute)”中所发生的事情的统计数据,在互联网上每分钟发送 1 亿 8700 万封电子邮件和 1800 万条短信,进行 370 万次搜索查询等等。

人工智能(AI)是一股颠覆性的力量,而数据则是这场革命的基石。行业中出现了新的数据集:生物数据(Bio Data)。如果将生物数据和环境数据(如位置等)结合在一起,那么你将拥有进行数据分析的所有信息。

他谈到了数据培养和像数据仓库(data warehouse)和数据湖(Data Lake)这样的解决方案如何帮助完成数据工作。数据架构师也需要在 HDFS 和云存储之间做出选择。HDFS 具有更好的查询性能,而云存储的扩展性、持久性和可用性更好,并且成本更低。

通过比较关系数据库和 nosql 数据库的数据大小和工作负载复杂性,McKnight 讨论了即可使用的大数据平台的选择。

另外,他也谈到了 NewSQL 数据库,该数据库可扩展、兼容 ACID 并支持分片。这些数据库正被用于资本市场数据输入、金融交易、电信记录流和欺诈检测。

数据库的云部署提供了一些好处,包括按需和自助服务数据管理、广泛的网络访问、资源汇集、快速弹性和可测量的服务。

传统的 ETL 技术不足以用于企业范围内运行的数据平台。有各种各样的数据源,并且数据是实时流式传输的。数据架构应该考虑这些需求的流处理

企业数据虚拟化提供了对所有结构化和半结构化数据持续及时的访问,这些数据来自组织内不同的数据源,如数据仓库、市场、多维数据集、操作数据存储(operational data stores,简称 ODS)、事务源和文件系统。

他建议,数据专业人员在这次数据架构转型旅程中进行他们的挑战,应该做好进行长期战役的准备,可能会失败几次才能最终获得成功。将您的数据体系结构工作与应用程序预算和路线图项目结合起来,以便在数据架构实施方面取得进展。

McKnight 对其演讲进行了总结,建议数据专业人员在需要高性能的数据管理解决方案的地方考虑使用内存数据库,并考虑未来使用 GPU 数据库和混合数据库。

阅读英文原文: William McKnight on Data Platforms and Creating a Modern Data Architecture

感谢冬雨对本文的审校。

2018-10-28 04:081391
用户头像

发布了 199 篇内容, 共 90.3 次阅读, 收获喜欢 295 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

干货 | 在Docker 上搭建持续集成平台 Jenkins

霍格沃兹测试开发学社

Kafka入门

霍格沃兹测试开发学社

技术分享 | 如何模拟真实使用场景?mock 技术来帮你

霍格沃兹测试开发学社

Log4j疯狂写日志问题排查 | 京东云技术团队

京东科技开发者

Java log4j Log4j 2 企业号 8 月 PK 榜

uiautomator2 自动化测试工具使用

霍格沃兹测试开发学社

实力!云起无垠获ISC 2023创新独角兽沙盒大赛“创新能力奖”

云起无垠

使用Fastmonkey进行iosMonkey测试初探

霍格沃兹测试开发学社

技术分享 | 使用 cURL 发送请求

霍格沃兹测试开发学社

Docker搭建测试用例平台 TestLink

霍格沃兹测试开发学社

浅谈测试需求分析

霍格沃兹测试开发学社

技术分享 | app自动化测试(Android)-- 参数化用例

霍格沃兹测试开发学社

JaCoCo助您毁灭线上僵尸代码 | 京东物流技术团队

京东科技开发者

Java JACOCO 企业号 8 月 PK 榜 僵尸代码

你们的优雅停机真的优雅吗? | 京东云技术团队

京东科技开发者

Java Spring Boot JVM 优雅停机 企业号 8 月 PK 榜

干货 | 利用 pytest 玩转数据驱动测试框架

霍格沃兹测试开发学社

为什么要urlencode?

霍格沃兹测试开发学社

解决 App 自动化测试的常见痛点

霍格沃兹测试开发学社

Spring 中 @Qualifier 注解还能这么用?

江南一点雨

Java spring

秒杀库存解决方案

Java研究者

架构 高性能 秒杀 电商系统 库存系统

开放原子开源基金会开源安全委员会七月新增成员单位

开放原子开源基金会

开放原子开源基金会

Apache Paimon 在同程旅行的实践进展

Apache Flink

大数据 flink 实时计算

技术分享 | 抓包分析 TCP 协议

霍格沃兹测试开发学社

接口管理工具YApi怎么用?颜值高、易管理、超好用

霍格沃兹测试开发学社

技术分享 | 接口测试之HTTP、HTTPS 抓包分析

霍格沃兹测试开发学社

技术分享 | 测试平台开发-前端开发之Vue.js 框架的使用

霍格沃兹测试开发学社

学会这些 Docker 命令,面试再也不怕啦~

霍格沃兹测试开发学社

持续交付-Pipeline入门

霍格沃兹测试开发学社

精准化测试原理简介

霍格沃兹测试开发学社

接口协议之抓包分析 TCP 协议

霍格沃兹测试开发学社

JDK 17 营销初体验 —— 亚毫秒停顿 ZGC 落地实践 | 京东云技术团队

京东科技开发者

ZGC jvm调优 jdk17 企业号 8 月 PK 榜

干货 | 初窥 Pytest 测试框架,基础薄弱也能轻松 hold 住

霍格沃兹测试开发学社

William McKnight关于数据平台和创建现代数据架构的见解_服务革新_Srini Penchikala_InfoQ精选文章