写点什么

Amazon 发布可持续性数据集,可用于多个领域的数据分析

  • 2019-02-12
  • 本文字数:1155 字

    阅读完需:约 4 分钟

Amazon发布可持续性数据集,可用于多个领域的数据分析

Amazon Web Services Open Data(AWSOD)和 Amazon Sustainability(AS)正在合作,为 AWS Simple Storage Service(S3)提供可持续性的数据集,并通过预处理数据集来实现最佳的数据检索,从而消除无差异的繁重工作。可持续性数据集通常来自卫星、地质研究、气象雷达、地图、农业研究、大气研究、政府和很多其他来源。


Amazon Web Services Open Data(AWSOD)和 Amazon Sustainability(AS)正在合作,为 AWS Simple Storage Service(S3)提供可持续性的数据集,并通过预处理数据集来实现最佳的数据检索,从而消除无差异的繁重工作。可持续性数据集通常来自卫星、地质研究、气象雷达、地图、农业研究、大气研究、政府和很多其他来源。


2018 年 12 月 10 日,AWSOD 和 AS 团队发布了第一组数据集。这些数据集向现有的 AWS Open Data 数据集种添加了一种新数据类别。这些可持续性数据集之前已经被公开,AWS 现在正在改进数据集的访问便利性,例如,将大型存档文件分成可以独立检索的较小的可寻址块。AWS 使用 Simple Storage Service(S3)存储数据,并将存储桶设置为公开可访问。Simple Notification Services(SNS)用于向消费者发起新数据通知,并且在少数情况下使用 CloudFront 通过应用程序编程接口提供数据,以便加快检索速度。


为了进一步促进新数据集的使用,AWS 正在与 Group on Earth Observations(GEO)合作,拨出 150 万美元的 AWS Cloud Credits,以获得有关地球的见解。


AWS 提供了如何使用可持续性开放数据集的文档以及用于搜索数据集的标签。“非洲土壤信息服务(AfSIS)土壤化学”数据集可以用来学习如何将机器学习应用于开放数据。使用开放数据集的社区第三方贡献者发布了一些博文,介绍了如何使用公共数据集:



此外,AWS 的一些客户成功地在云端使用可持续性数据:



负责农业数据分析的 Sebastian Fritsch 参与了 AWS 有关卫星数据集使用的问答,他被问道:“在你看来有什么亮点吗”?他回答说:“只需要修改几行代码就可以将数据产品从相对较小的试点区域扩展到全局,对我们来说,这是一个亮点”。


在可持续性数据集发布之前,AWS Global Open Data 主管 Jed Sundwall 谈到了如何不断改进 AWS 传输 PB 级开放数据的能力。AWS 正在向开放数据集中添加各种索引(包括外部索引、文件命名和内部索引),以增加访问便利性。AWS 的工作人员正在观察社区的情况,并意识到他们可以通过社区构建的数据集处理机制来衡量数据集的成功程度。最后,AWS 提供了一个明确定义的程序,用于支付成本,并让新的贡献者通过AWS提供公共数据集。


查看英文原文:https://www.infoq.com/news/2019/01/amazon-sustainability-datasets


2019-02-12 14:513634
用户头像

发布了 731 篇内容, 共 474.8 次阅读, 收获喜欢 2008 次。

关注

评论

发布
暂无评论
发现更多内容

CAKE OF FORTUNE(蛋糕矿工)BSC链系统开发

l8l259l3365

WebSocket 鉴权实战经验分享

Liam

程序员 前端 后端 网络协议 websocket

【网易云商】构建高效 SaaS 系统的技术要点与最佳实践

网易云信

SaaS 平台

如何使用电商平台API接口?

技术冰糖葫芦

API API Gateway API 文档

低代码平台提升软件开发效率

互联网工科生

软件开发 低代码 JNPF

云服务器入门指南:你需要知道的基础知识与选择策略

一只扑棱蛾子

云服务器

uni-app 打包ios上架app store流程

数字化供应链助力电子产业高质量发展,华秋2023电子设计与制造技术研讨会成功举办!

华秋电子

PCB设计

Presto+Alluxio数据平台实战

数新网络官方账号

大数据

保姆级连接FusionInsight MRS kerberos Hive

数新网络官方账号

Java hive 华为云 Dbeaver

最强模型GPT-4 Turbo来了,程序员会失业吗?

伤感汤姆布利柏

人工智能 低代码 chatpt GPT-4 Turbo

耐世特与Tactile Mobility合作的路面探测与早期预警软件获创新奖

财见

SRM采购招投标一体化系统(源码)

金陵老街

招投标 SRM系统 采购系统 供应商管理系统

特斯拉开源 Roadster 文件随便用;微软 Copilot AI 技术开放或不对大陆开放丨 RTE 开发者日报 Vol.92

声网

如何调用电商API接口获取相关商品的推荐列表?

技术冰糖葫芦

API API 文档

拒绝连锡!3种偷锡焊盘轻松拿捏

华秋电子

PCBA

欢迎提报 | 2023年龙蜥社区优秀贡献者评选正式启动

OpenAnolis小助手

操作系统 创新 龙蜥社区 优秀贡献者

大型企业资金管理常见6个难题,用友Fast by BIP“快速”破解

用友BIP

资金管理

springboot集成工作流实例分享(源码)

金陵老街

基于低代码平台搭建应用程序

树上有只程序猿

软件开发 低代码 JNPF

Amazon发布可持续性数据集,可用于多个领域的数据分析_数据库_Aslan Brooke_InfoQ精选文章