写点什么

Amazon 发布可持续性数据集,可用于多个领域的数据分析

  • 2019-02-12
  • 本文字数:1155 字

    阅读完需:约 4 分钟

Amazon发布可持续性数据集,可用于多个领域的数据分析

Amazon Web Services Open Data(AWSOD)和 Amazon Sustainability(AS)正在合作,为 AWS Simple Storage Service(S3)提供可持续性的数据集,并通过预处理数据集来实现最佳的数据检索,从而消除无差异的繁重工作。可持续性数据集通常来自卫星、地质研究、气象雷达、地图、农业研究、大气研究、政府和很多其他来源。


Amazon Web Services Open Data(AWSOD)和 Amazon Sustainability(AS)正在合作,为 AWS Simple Storage Service(S3)提供可持续性的数据集,并通过预处理数据集来实现最佳的数据检索,从而消除无差异的繁重工作。可持续性数据集通常来自卫星、地质研究、气象雷达、地图、农业研究、大气研究、政府和很多其他来源。


2018 年 12 月 10 日,AWSOD 和 AS 团队发布了第一组数据集。这些数据集向现有的 AWS Open Data 数据集种添加了一种新数据类别。这些可持续性数据集之前已经被公开,AWS 现在正在改进数据集的访问便利性,例如,将大型存档文件分成可以独立检索的较小的可寻址块。AWS 使用 Simple Storage Service(S3)存储数据,并将存储桶设置为公开可访问。Simple Notification Services(SNS)用于向消费者发起新数据通知,并且在少数情况下使用 CloudFront 通过应用程序编程接口提供数据,以便加快检索速度。


为了进一步促进新数据集的使用,AWS 正在与 Group on Earth Observations(GEO)合作,拨出 150 万美元的 AWS Cloud Credits,以获得有关地球的见解。


AWS 提供了如何使用可持续性开放数据集的文档以及用于搜索数据集的标签。“非洲土壤信息服务(AfSIS)土壤化学”数据集可以用来学习如何将机器学习应用于开放数据。使用开放数据集的社区第三方贡献者发布了一些博文,介绍了如何使用公共数据集:



此外,AWS 的一些客户成功地在云端使用可持续性数据:



负责农业数据分析的 Sebastian Fritsch 参与了 AWS 有关卫星数据集使用的问答,他被问道:“在你看来有什么亮点吗”?他回答说:“只需要修改几行代码就可以将数据产品从相对较小的试点区域扩展到全局,对我们来说,这是一个亮点”。


在可持续性数据集发布之前,AWS Global Open Data 主管 Jed Sundwall 谈到了如何不断改进 AWS 传输 PB 级开放数据的能力。AWS 正在向开放数据集中添加各种索引(包括外部索引、文件命名和内部索引),以增加访问便利性。AWS 的工作人员正在观察社区的情况,并意识到他们可以通过社区构建的数据集处理机制来衡量数据集的成功程度。最后,AWS 提供了一个明确定义的程序,用于支付成本,并让新的贡献者通过AWS提供公共数据集。


查看英文原文:https://www.infoq.com/news/2019/01/amazon-sustainability-datasets


2019-02-12 14:513585
用户头像

发布了 731 篇内容, 共 469.2 次阅读, 收获喜欢 2007 次。

关注

评论

发布
暂无评论
发现更多内容

软件测试 | MySQL创建或者修改视图

测吧(北京)科技有限公司

测试

PingCAP 陈煜琦:深耕中国市场,构建客户成功生态

PingCAP

MySQL 数据库 开源 TiDB pingCAP

实践分析丨AscendCL应用编译&运行案例

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 企业号 7 月 PK 榜

5分钟迁移关系型数据库到图数据库

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 7 月 PK 榜

Flink Metrics&REST API 介绍和原理解析

腾讯云大数据

流计算 Oceanus

从分片传输到并行传输之大文件传输加速技术

镭速

大文件传输

基于开源IM即时通讯框架MobileIMSDK:RainbowChat v9.0版已发布

JackJiang

网络编程 即时通讯 IM

4个维度重构组织能力,实现人力资源数智化

用友BIP

人力资源

用友BIP助力企业全球化运营与人才管理

用友BIP

中企出海 数智人力

2023年广西等保测评机构名单看这里!新增一家哦!

行云管家

广西 等级保护 等保测评

软件测试 | 创建触发器

测吧(北京)科技有限公司

测试

HDMI接口需注意的PCB可制造性设计问题

华秋PCB

接口 工具 PCB PCB设计 可制造性

Swagger 自动生成 Api 文档:提高效率的利器

Liam

程序员 接口文档 swagger 自动生成 API 文档

GaussDB(for Redis)多租户:读写权限控制和数据库隔离的完美融合

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 7 月 PK 榜

数据库集群方案详解

KaiwuDB

KaiwuDB 数据库集群技术

揭秘ChaosBlade CPU故障:实现CPU故障的黑科技

柠檬汁Code(binbin0325)

源码分析 cpu 混沌工程 ChaosBlade 故障模拟

中原银行SQL治理实践

中原银行

SQL优化

动态QPS压测模型【Go语言】

FunTester

使用 njs 0.7.7 提高 NGINX 配置的模块化程度和可复用性

NGINX开源社区

Vulkan并非“灵药“

江湖修行

移动端 opengl Android; 渲染

共话AIGC与企业数字化转型 PolarDB开源数据库技术沙龙南京站报名中!

阿里云数据库开源

数据库 postgresql 阿里云 开源 polarDB

Docker 入门教程(简明易懂、零基础篇)

搞大屏的小北

Docker 容器 Docker-compose 入门 Docker 镜像

扫盲低代码

互联网工科生

前端 低代码 应用开发

MobPush 创建推送

MobTech袤博科技

前端 消息推送 智能推送 前端‘’ 推送系统

MatrixOne:HTAP数据库中的OLAP设计

MatrixOrigin

云原生 超融合 HTAP MatrixOrigin MatrixOne

软件测试 |BTREE索引与HASH索引

测吧(北京)科技有限公司

测试

科研类项目核算的“法、术、器”(二)

用友BIP

项目管理 科研项目

中小微企业选择哪家云管平台好?理由有哪些?

行云管家

云计算 云管平台 云管理

Amazon发布可持续性数据集,可用于多个领域的数据分析_数据库_Aslan Brooke_InfoQ精选文章