William McKnight 关于数据平台和创建现代数据架构的见解

在上周举行的数据架构 2018 年峰会上，William McKnight 就使用不同的数据平台创建现代数据架构做了主旨演讲。

他以讨论组织的数据成熟度和业务成功之间的高度相关性开始了他的演讲。组织的数据架构越成熟，业务就越成功。成熟度较低的组织往往会把数据分散于不同的信息孤岛中。他分享了一些来自 2018 年“互联网分钟（Internet Minute）”中所发生的事情的统计数据，在互联网上每分钟发送 1 亿 8700 万封电子邮件和 1800 万条短信，进行 370 万次搜索查询等等。

人工智能（AI）是一股颠覆性的力量，而数据则是这场革命的基石。行业中出现了新的数据集：生物数据（Bio Data）。如果将生物数据和环境数据（如位置等）结合在一起，那么你将拥有进行数据分析的所有信息。

他谈到了数据培养和像数据仓库（data warehouse）和数据湖（Data Lake）这样的解决方案如何帮助完成数据工作。数据架构师也需要在 HDFS 和云存储之间做出选择。HDFS 具有更好的查询性能，而云存储的扩展性、持久性和可用性更好，并且成本更低。

通过比较关系数据库和 nosql 数据库的数据大小和工作负载复杂性，McKnight 讨论了即可使用的大数据平台的选择。

另外，他也谈到了 NewSQL 数据库，该数据库可扩展、兼容 ACID 并支持分片。这些数据库正被用于资本市场数据输入、金融交易、电信记录流和欺诈检测。

数据库的云部署提供了一些好处，包括按需和自助服务数据管理、广泛的网络访问、资源汇集、快速弹性和可测量的服务。

传统的 ETL 技术不足以用于企业范围内运行的数据平台。有各种各样的数据源，并且数据是实时流式传输的。数据架构应该考虑这些需求的流处理。

企业数据虚拟化提供了对所有结构化和半结构化数据持续及时的访问，这些数据来自组织内不同的数据源，如数据仓库、市场、多维数据集、操作数据存储（operational data stores，简称 ODS）、事务源和文件系统。

他建议，数据专业人员在这次数据架构转型旅程中进行他们的挑战，应该做好进行长期战役的准备，可能会失败几次才能最终获得成功。将您的数据体系结构工作与应用程序预算和路线图项目结合起来，以便在数据架构实施方面取得进展。

McKnight 对其演讲进行了总结，建议数据专业人员在需要高性能的数据管理解决方案的地方考虑使用内存数据库，并考虑未来使用 GPU 数据库和混合数据库。

阅读英文原文： William McKnight on Data Platforms and Creating a Modern Data Architecture

感谢冬雨对本文的审校。