写点什么

谷歌 MetNet:秒级别预测的神经网络天气模型

  • 2020-03-30
  • 本文字数:2677 字

    阅读完需:约 9 分钟

谷歌MetNet:秒级别预测的神经网络天气模型

准确预测从几分钟到几周后的天气是一项基础科学挑战,会对社会的许多领域产生广泛的影响。当下,许多气象机构采用的气象预报方法都是基于大气层的一些物理模型,尽管这些模型在过去的几十年中有了很大的改进,但它们的固有局限是需要庞大的算力,还需要对控制它们的物理定律有非常接近的估算结果。另一种天气预报方法能够克服其中一些限制,那就是使用深度神经网络(DNN)的方法:DNN 无需明确编码的物理定律,而是发现数据中的模式,并使用功能强大的专用硬件(例如 GPU 和 TPU)执行并行计算,来学习从输入到期望输出的复杂转换。


在我们之前对降水即时预报研究基础上,我们提出了“MetNet:用于降水预报的神经网络天气模型”,这是一种 DNN,能够以 2 分钟的间隔和 1km 的分辨率预测未来 8 小时内的降水概率。MetNet 优于NOAA当前使用的,基于物理定律的最先进模型,可以提供 7 到 8 小时的预测时间,并且可以预测美国全境内的天气,预测耗时只需几秒钟(之前的模型需要 1 小时)。该网络的输入自动从雷达站和卫星网络获取,无需人工注释。模型输出是一个概率分布,我们用它来推断每个地理区域最可能的降水概率以及相关的不确定性,下图提供了该网络在美国大陆上的预测示例。



MetNet 模型预测结果与由 NOAA 多雷达/多传感器系统(MRMS)测得的地面真值进行对比。MetNet 模型(顶部)显示了提前 2 分钟到 480 分钟预测的 1mm/hr 降水概率,而 MRMS 数据(底部)显示了在同一时间段内接收至少 1mm/hr 降水的区域。

神经网络天气模型

MetNet 不依赖描述大气动力学的明确物理定律,而是通过反向传播学习直接从观测数据中预测天气。该网络使用的降水量估算值是从多雷达或多传感器系统(MRMS)地面雷达站,以及来自 NOAA 的地球静止环境卫星系统的测量值得出的,后者提供了自上而下的大气层云图。两种数据源都覆盖了美国大陆,并提供了可通过网络有效处理的类似图像的输入。


该模型以 1km 分辨率,针对覆盖全美国的 64km 乘 64km 区域执行计算。但是,与这些输出区域相对应的输入数据,其实际物理覆盖范围要大得多,因为它必须考虑在预测的时间段内云层和降水场的可能运动。例如,假设云层以最高 60km/h 的速度运动,为了有效预测未来 8 小时内的大气层动态,该模型在所有方向上都需要 480km 的空间上下文数据。因此,要实现这样级别的数据覆盖,需要对 1024km 乘 1024km 区域的信息进行预测,才能得出中心 64km 乘 64km 区域的结果。



包含卫星和雷达图像的输入补丁的大小(大,1024 x 1024km),以及输出预测的雷达图像的大小(小,64 x 64km)


由于以全分辨率处理 1024km 乘 1024km 的区域需要大量内存,因此我们使用空间降采样器,它可以减小输入的空间尺寸以降低内存消耗,同时在输入中查找并保持相关的天气模式。然后,我们沿着降采样后的输入数据的时间维度应用时间编码器(由卷积 LSTM 实现,其非常适合图像序列),以 15 分钟为间隔对来自前 90 分钟输入数据的七个快照进行编码。接着将时间编码器的输出传递到一个空间聚合器,后者使用轴向自注意力来有效捕获数据中的远程空间相关性,并根据输入目标时间提供可变的上下文量,从而对 64km 乘 64km 区域输出预测。


该架构的输出是离散的概率分布,其估计了美国大陆上每平方公里的给定降水速率的概率。



神经网络气象模型 MetNet 的架构。输入的卫星和雷达图像首先通过空间降采样器以减少内存消耗。然后,90 分钟的输入数据以 15 分钟的间隔通过一个卷积 LSTM 来处理。接着使用轴向注意力层使网络看到输入图像整体。

结果

我们根据降水概率预报基准测试对 MetNet 进行评估,并将结果与​​两个基线进行了对比,分别是 NOAA 高分辨率快速刷新(HRRR,https://rapidrefresh.noaa.gov/hrrr/)系统(这是目前在美国运行的天气预报物理模型),以及一个用来估计降水区域动态(也就是光流)的基线模型,这是一种在预测时间少于 2 小时的情况下表现良好的方法。


我们的神经网络天气模型的一个显著优势是针对密集和并行计算进行了优化,非常适合在特殊硬件(例如 TPU)上运行。不管是针对特定位置(例如纽约市)还是针对整个美国,它都可以在几秒钟内并行输出预测结果,而诸如 HRRR 之类的物理模型在超级计算机上的计算时间约为一个小时。


我们在下图中量化了 MetNet、HRRR 和光流基线模型之间的性能差异。在这里,我们展示了使用F1分数,在 1.0mm/h 的降水率阈值下评估这三个模型实现的性能对比,该阈值对应的是小雨。MetNet 神经天气模型能够在 8 小时内的预测时间内胜过 NOAA HRRR 系统,并且始终优于基于流量的模型。



在 1.0mm/h 的降水速率下用 F1 分数评估性能(越高越好)。在 8 小时内的预测时间内,神经网络天气模型(MetNet)优于目前在美国运行的基于物理的模型(HRRR)。


由于大气的随机性,随着预测时间的延长,关于未来确切天气状况的不确定性会增加。因为 MetNet 是一个概率模型,所以随着预测时间的延长,可以在图像上看到预测结果的波动,也就是不确定性。相反,HRRR 并不直接做出概率预测,而是预测单个可能的未来。下图将 MetNet 模型的输出与 HRRR 模型的输出进行了比较。



从 NOAA MRMS 系统检索到的地面真值(中间),与 MetNet(顶部)和 HRRR(底部)输出之间的比较。请注意,尽管 HRRR 模型预测的结构看起来与地面真值更相似,但其细节可能严重错误。


HRRR 物理模型的预测看起来比 MetNet 模型的预测更清晰,更结构化,但是由于模型初始条件和参数的不确定性,其结构(特别是预测结构的确切时间和位置)的准确性较差。



HRRR(左)预测了许多可能结果中的单个潜在未来结果(红色),而 MetNet(右)则通过分配未来结果的概率来直接考虑不确定性


这个视频提供了 HRRR 与 MetNet 模型之间更全面的比较:


视频地址:https://youtu.be/-dAvqroX7ZI

未来发展方向

我们正在积极研究如何改善全球天气预报能力,尤其是在快速的气候变化影响最深的地区。虽然我们现在演示的是针对美国大陆的 MetNet 模型,但也可以将其扩展到可获得适当雷达和光学卫星数据的任何区域上。此处介绍的工作只是这一计划的小里程碑,我们希望通过与气象界的进一步合作来获得更大改进。


致谢


该项目是与 Lasse Espeholt、Jonathan Heek、Mostafa Dehghani、Avital Oliver、Tim Salimans、Shreya Agrawal 和 Jason Hickey 合作完成的。我们还要感谢 Manoj Kumar、Wendy Shang、Dick Weissenborn、Cenk Gazen、John Burge、Stephen Hoyer、Lak Lakshmanan、Rob Carver、Carla,Bromberg 和 Aaron Bell 提供的意见,并感谢 Tom Small 提供的可视化帮助。


原文链接:https://ai.googleblog.com/2020/03/a-neural-weather-model-for-eight-hour.html


2020-03-30 15:102971
用户头像
赵钰莹 极客邦科技 总编辑

发布了 884 篇内容, 共 651.4 次阅读, 收获喜欢 2680 次。

关注

评论

发布
暂无评论
发现更多内容

2025上海国际机器人展(Tech G)

AIOTE智博会

消费电子展 消费电子展会 消费电子博览会 消费电子展览会

RWA代币:下一波财富增长的密码?

TechubNews

精选的掘金文章汇总[2024.11月-12月]

安全乐谷

GitHub 架构 算法 前端 后端

Spring的进阶学习步骤是什么?

了不起的程序猿

spring 程序员 springboot SpringCloud java面试

高效文件处理:Python pathlib实战指南

快乐非自愿限量之名

Python

想提高查询性能,用GaussDB(DWS) in表达式还是or表达式?

华为云开发者联盟

数据库 GaussDB 表达式 大数据‘’ #SQL

TON游戏现状一览:区块链与Telegram的完美融合

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

科大讯飞T30 Lite和T30 Pro 对比

妙龙

科大讯飞 学习机

AI Agent:未来高效螺丝钉,谁用得好,谁先赚到钱

博文视点Broadview

阿里Spring Security OAuth2.0认证授权笔记震撼开源!原理+实战+源码三飞

采菊东篱下

编程 java面试

怎么把域名解析到IP地址?流程有哪些?一文讲清域名解析那些事

国科云

AI与数据分析|使用机器学习,轻松解决复杂的情感分析问题

Altair RapidMiner

机器学习 AI 数据分析 情感分析 altair

币安独霸,okx,bitget共享天下交易所新格局

区块链项目一站式包装孵化

拼多多根据ID取商品详情原数据API接口的开发应用与收益

科普小能手

电商 API 接口 API 测试 pinduoduo API 拼多多数据

Java行情崩盘了?传智播客收入下滑严重,Java之父和金角大王的IT课程白菜价贱卖

陆通

Java后端最全面试攻略,吃透25个技术栈,阿里十万字内部面试题总结全网开源

架构师之道

编程 java面试

CCF-CV企业交流会—走进合合信息顺利举办,打造大模型时代的可信AI

合合技术团队

人工智能 信息安全 图像安全

Java面试突击手册,一周刷完这300道面试题,你也可以当架构师!

Summer

Java 程序员 面试 架构师 大厂

如何做区块链破局的模式:区块链如何破局

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 交易所开发代币开发

Mysql优化

EquatorCoco

MySQL

阿里大牛强力推荐:springboot实战派文档,从入门到实战,样样具备

架构师之道

Java 编程

GitHub下载破千万!这份Java大厂面试指南,竟是阿里面试官上传的

Summer

Java 程序员 面试 架构师 大厂

科大讯飞P20 Plus词典笔 怎么样

妙龙

科大讯飞 词典笔

新金景集团:二十载专注做好女性私密

新消费日报

BOE(京东方)北京京东方医院主体结构开工 打造医工融合创新典范

爱极客侠

项目管理工具和方法有哪些?

爱吃小舅的鱼

项目管理工具

DevOps研发效能建设的六大“雷区”:你中招了吗?

嘉为蓝鲸

DevOps 研发度量 效能度量 研发效能管理

面试必刷:阿里巴巴 内部 Java 高级架构师 1080 道面试题

采菊东篱下

Java 编程 计算机

ChatGPT在功能测试用例生成方面的优势

不在线第一只蜗牛

ChatGPT

谷歌MetNet:秒级别预测的神经网络天气模型_AI&大模型_Geek_5fu8vr_InfoQ精选文章