写点什么

Amazon 发布可持续性数据集,可用于多个领域的数据分析

  • 2019-02-12
  • 本文字数:1155 字

    阅读完需:约 4 分钟

Amazon发布可持续性数据集,可用于多个领域的数据分析

Amazon Web Services Open Data(AWSOD)和 Amazon Sustainability(AS)正在合作,为 AWS Simple Storage Service(S3)提供可持续性的数据集,并通过预处理数据集来实现最佳的数据检索,从而消除无差异的繁重工作。可持续性数据集通常来自卫星、地质研究、气象雷达、地图、农业研究、大气研究、政府和很多其他来源。


Amazon Web Services Open Data(AWSOD)和 Amazon Sustainability(AS)正在合作,为 AWS Simple Storage Service(S3)提供可持续性的数据集,并通过预处理数据集来实现最佳的数据检索,从而消除无差异的繁重工作。可持续性数据集通常来自卫星、地质研究、气象雷达、地图、农业研究、大气研究、政府和很多其他来源。


2018 年 12 月 10 日,AWSOD 和 AS 团队发布了第一组数据集。这些数据集向现有的 AWS Open Data 数据集种添加了一种新数据类别。这些可持续性数据集之前已经被公开,AWS 现在正在改进数据集的访问便利性,例如,将大型存档文件分成可以独立检索的较小的可寻址块。AWS 使用 Simple Storage Service(S3)存储数据,并将存储桶设置为公开可访问。Simple Notification Services(SNS)用于向消费者发起新数据通知,并且在少数情况下使用 CloudFront 通过应用程序编程接口提供数据,以便加快检索速度。


为了进一步促进新数据集的使用,AWS 正在与 Group on Earth Observations(GEO)合作,拨出 150 万美元的 AWS Cloud Credits,以获得有关地球的见解。


AWS 提供了如何使用可持续性开放数据集的文档以及用于搜索数据集的标签。“非洲土壤信息服务(AfSIS)土壤化学”数据集可以用来学习如何将机器学习应用于开放数据。使用开放数据集的社区第三方贡献者发布了一些博文,介绍了如何使用公共数据集:



此外,AWS 的一些客户成功地在云端使用可持续性数据:



负责农业数据分析的 Sebastian Fritsch 参与了 AWS 有关卫星数据集使用的问答,他被问道:“在你看来有什么亮点吗”?他回答说:“只需要修改几行代码就可以将数据产品从相对较小的试点区域扩展到全局,对我们来说,这是一个亮点”。


在可持续性数据集发布之前,AWS Global Open Data 主管 Jed Sundwall 谈到了如何不断改进 AWS 传输 PB 级开放数据的能力。AWS 正在向开放数据集中添加各种索引(包括外部索引、文件命名和内部索引),以增加访问便利性。AWS 的工作人员正在观察社区的情况,并意识到他们可以通过社区构建的数据集处理机制来衡量数据集的成功程度。最后,AWS 提供了一个明确定义的程序,用于支付成本,并让新的贡献者通过AWS提供公共数据集。


查看英文原文:https://www.infoq.com/news/2019/01/amazon-sustainability-datasets


2019-02-12 14:513619
用户头像

发布了 731 篇内容, 共 473.5 次阅读, 收获喜欢 2008 次。

关注

评论

发布
暂无评论
发现更多内容

Gartner预测到2025年,将有一半的云数据中心部署具有人工智能功能的机器人

BeeWorks

网易云信亮相 LiveVideoStackCon 2021,解构自研大规模传输网 WE-CAN

网易云信

通信云 传输协议

《黑客之道》干了一夜的kali Linux之Metasploit渗透测试框架的基本使用

学神来啦

Linux 运维 黑客 渗透 Metasploit

OkHttp 断点上传的“基操”(1),完美讲解内存缓存LruCache实现原理

android 程序员 移动开发

🔥 DeepVideo 智能视频生产训练营火热报名中!

阿里云CloudImagine

阿里云 媒体处理 智能视频 智能生产 视频云

Java线程安全ReentrantLock

FunTester

Java 性能测试 线程安全 测试开发 FunTester

分享 | 一文了解 PG PITR 即时恢复

RadonDB

数据库 postgresql RadonDB

OKio源码分析(1)six sy007 情感导师,android面试题2019

android 程序员 移动开发

「元宇宙」赛道,除了脸书,微软也来了

BeeWorks

MVVM系列之二:LiveData,android程序开发教程

android 程序员 移动开发

实验室信息系统的主要功能及作用

低代码小观

企业管理 管理系统 LIMS实验室信息管理系统 信息管理系统 实验室

OkHttp流程分析,音视频编解码技术

android 程序员 移动开发

毕业总结和毕业设计

cherrycheek

QQ音乐Android编译提速之路,腾讯T2大牛亲自讲解

android 程序员 移动开发

Linux学习~树莓派gpio控制,如何化身BAT面试收割机

android 程序员 移动开发

Tapdata 等40余家行业知名企业,应邀参与共建 NextArch Foundation

tapdata

数据库 数据融合

Native开发工具之CPU 和架构(三),学习Android开发的步骤,

android 程序员 移动开发

Linux编程之权限系统与工具使用(二),一文详解

android 程序员 移动开发

MotionLayout_ 打开动画新世界大门 (part II)(1),kotlin框架

android 程序员 移动开发

springmvc的定时任务

小鲍侃java

11月日更

MVVM系列之一:Lifecycle,面试竟然被这31道Android基础题难倒了

android 程序员 移动开发

OkHttp 断点上传的“基操”,算法题+JVM

android 程序员 移动开发

一站式智能化是采购数字化的大趋势

BeeWorks

MotionLayout_ 打开动画新世界大门 (part II),android插件化原理

android 程序员 移动开发

OkHttp3源码详解之拦截器(四),计算机应届毕业生面试题

android 程序员 移动开发

Okhttp的缓存机制,原理讲解

android 程序员 移动开发

OOM问题原理解析(二),移动端开发技术

android 程序员 移动开发

LeetCode,牛客面试必刷,看了这些,flutter面试

android 程序员 移动开发

阿里大佬手写Docker学习笔记就这?也就是让我五体投地的水平罢了

Docker 编程 程序员

直呼内行!阿里大佬离职带出内网专属“高并发系统设计”学习笔记

编程 程序员 消息队列 高并发系统

OkHttp 3,安卓移动开发大作业

android 程序员 移动开发

Amazon发布可持续性数据集,可用于多个领域的数据分析_数据库_Aslan Brooke_InfoQ精选文章