近日，MongoDB在MongoDB World上宣布了MongoDB Atlas家族的新成员——MongoDB Atlas Data Lake，目前已发布公开测试版本。MongoDB Atlas Data Lake的出现将使得MongoDB可以应用于云大数据湖。随着企业在Amazon S3等云存储中积累的数据越来越多，他们对于如何有效处理这些数据的需求也越来越旺盛。

MongoDB Atlas Data Lake可以使用MongoDB查询语言，该语言专为丰富、复杂的结构而构建，可以处理以JSON、BSON、CSV、TSV、Avro和Parquet格式存储的数据。数据按需分析，无需基础设施设置，无需耗时的转换、预处理或元数据管理。因为没有预先定义的架构，所以可以更快地处理数据。

作为MongoDB Atlas云数据平台中提供的按需服务，没有部署过程，只需要提供对S3存储桶的访问。用户可以使用与MongoDB Atlas操作集群相同的UI配置Atlas Data Lake，通过一个简单的向导来配置权限，提供对S3存储桶的只读访问权限，将S3目录映射到数据库和集合，并使其做好运行查询的准备。

通过MongoDB查询语言，用户可以将一个技能集应用于数据湖和事务数据库。它不仅仅是与Data Lake一起使用的查询语言，而且也兼容MongoDB驱动程序、MongoDB Shell、MongoDB Compass和MongoDB BI Connector。这意味着使用JavaScript、Perl、Python、C、C ++、Java、Ruby、Go、Scala、R和许多其他语言编写的应用程序也可以使用MongoDB用户之前部署的驱动程序访问Data Lake。数据科学家可以使用R驱动程序支持下的R Studio工具或者 Python 驱动程序支持下的Jupyter笔记本来进行统计、机器学习和数据湖分析。

目前，MongoDB Atlas Data Lake部署了多个计算节点来分析每个S3存储桶，并针对该存储桶的数据进行处理查询。这些节点并行工作，在桶区域中进行快速处理，能够最大限度地减少数据传输和相关成本。完成后，每个节点将其结果返回到中心节点，该节点根据需要对单独的结果进行排序、过滤和聚合为最终结果。

对于Data Lake用户，此过程完全透明，允许他们继续从工作中提取该数据的价值和洞察力。这意味着对应用于数据的并发查询没有限制，计算节点架构的未来增强也会对用户透明。

MongoDB Atlas Data Lake旨在通过用户已有的数据湖中获得最佳效果，包含分析数据、构建数据服务、提供机器学习和AI以及构建活动档案。

原文链接

https://www.mongodb.com/blog/post/mongodb-atlas-data-lake-debuts-at-mongodb-world

创作场景

MongoDB 推出 Atlas Data Lake 预览版本，可直接访问 Amazon S3