写点什么

谷歌 MetNet:秒级别预测的神经网络天气模型

  • 2020-03-30
  • 本文字数:2677 字

    阅读完需:约 9 分钟

谷歌MetNet:秒级别预测的神经网络天气模型

准确预测从几分钟到几周后的天气是一项基础科学挑战,会对社会的许多领域产生广泛的影响。当下,许多气象机构采用的气象预报方法都是基于大气层的一些物理模型,尽管这些模型在过去的几十年中有了很大的改进,但它们的固有局限是需要庞大的算力,还需要对控制它们的物理定律有非常接近的估算结果。另一种天气预报方法能够克服其中一些限制,那就是使用深度神经网络(DNN)的方法:DNN 无需明确编码的物理定律,而是发现数据中的模式,并使用功能强大的专用硬件(例如 GPU 和 TPU)执行并行计算,来学习从输入到期望输出的复杂转换。


在我们之前对降水即时预报研究基础上,我们提出了“MetNet:用于降水预报的神经网络天气模型”,这是一种 DNN,能够以 2 分钟的间隔和 1km 的分辨率预测未来 8 小时内的降水概率。MetNet 优于NOAA当前使用的,基于物理定律的最先进模型,可以提供 7 到 8 小时的预测时间,并且可以预测美国全境内的天气,预测耗时只需几秒钟(之前的模型需要 1 小时)。该网络的输入自动从雷达站和卫星网络获取,无需人工注释。模型输出是一个概率分布,我们用它来推断每个地理区域最可能的降水概率以及相关的不确定性,下图提供了该网络在美国大陆上的预测示例。



MetNet 模型预测结果与由 NOAA 多雷达/多传感器系统(MRMS)测得的地面真值进行对比。MetNet 模型(顶部)显示了提前 2 分钟到 480 分钟预测的 1mm/hr 降水概率,而 MRMS 数据(底部)显示了在同一时间段内接收至少 1mm/hr 降水的区域。

神经网络天气模型

MetNet 不依赖描述大气动力学的明确物理定律,而是通过反向传播学习直接从观测数据中预测天气。该网络使用的降水量估算值是从多雷达或多传感器系统(MRMS)地面雷达站,以及来自 NOAA 的地球静止环境卫星系统的测量值得出的,后者提供了自上而下的大气层云图。两种数据源都覆盖了美国大陆,并提供了可通过网络有效处理的类似图像的输入。


该模型以 1km 分辨率,针对覆盖全美国的 64km 乘 64km 区域执行计算。但是,与这些输出区域相对应的输入数据,其实际物理覆盖范围要大得多,因为它必须考虑在预测的时间段内云层和降水场的可能运动。例如,假设云层以最高 60km/h 的速度运动,为了有效预测未来 8 小时内的大气层动态,该模型在所有方向上都需要 480km 的空间上下文数据。因此,要实现这样级别的数据覆盖,需要对 1024km 乘 1024km 区域的信息进行预测,才能得出中心 64km 乘 64km 区域的结果。



包含卫星和雷达图像的输入补丁的大小(大,1024 x 1024km),以及输出预测的雷达图像的大小(小,64 x 64km)


由于以全分辨率处理 1024km 乘 1024km 的区域需要大量内存,因此我们使用空间降采样器,它可以减小输入的空间尺寸以降低内存消耗,同时在输入中查找并保持相关的天气模式。然后,我们沿着降采样后的输入数据的时间维度应用时间编码器(由卷积 LSTM 实现,其非常适合图像序列),以 15 分钟为间隔对来自前 90 分钟输入数据的七个快照进行编码。接着将时间编码器的输出传递到一个空间聚合器,后者使用轴向自注意力来有效捕获数据中的远程空间相关性,并根据输入目标时间提供可变的上下文量,从而对 64km 乘 64km 区域输出预测。


该架构的输出是离散的概率分布,其估计了美国大陆上每平方公里的给定降水速率的概率。



神经网络气象模型 MetNet 的架构。输入的卫星和雷达图像首先通过空间降采样器以减少内存消耗。然后,90 分钟的输入数据以 15 分钟的间隔通过一个卷积 LSTM 来处理。接着使用轴向注意力层使网络看到输入图像整体。

结果

我们根据降水概率预报基准测试对 MetNet 进行评估,并将结果与​​两个基线进行了对比,分别是 NOAA 高分辨率快速刷新(HRRR,https://rapidrefresh.noaa.gov/hrrr/)系统(这是目前在美国运行的天气预报物理模型),以及一个用来估计降水区域动态(也就是光流)的基线模型,这是一种在预测时间少于 2 小时的情况下表现良好的方法。


我们的神经网络天气模型的一个显著优势是针对密集和并行计算进行了优化,非常适合在特殊硬件(例如 TPU)上运行。不管是针对特定位置(例如纽约市)还是针对整个美国,它都可以在几秒钟内并行输出预测结果,而诸如 HRRR 之类的物理模型在超级计算机上的计算时间约为一个小时。


我们在下图中量化了 MetNet、HRRR 和光流基线模型之间的性能差异。在这里,我们展示了使用F1分数,在 1.0mm/h 的降水率阈值下评估这三个模型实现的性能对比,该阈值对应的是小雨。MetNet 神经天气模型能够在 8 小时内的预测时间内胜过 NOAA HRRR 系统,并且始终优于基于流量的模型。



在 1.0mm/h 的降水速率下用 F1 分数评估性能(越高越好)。在 8 小时内的预测时间内,神经网络天气模型(MetNet)优于目前在美国运行的基于物理的模型(HRRR)。


由于大气的随机性,随着预测时间的延长,关于未来确切天气状况的不确定性会增加。因为 MetNet 是一个概率模型,所以随着预测时间的延长,可以在图像上看到预测结果的波动,也就是不确定性。相反,HRRR 并不直接做出概率预测,而是预测单个可能的未来。下图将 MetNet 模型的输出与 HRRR 模型的输出进行了比较。



从 NOAA MRMS 系统检索到的地面真值(中间),与 MetNet(顶部)和 HRRR(底部)输出之间的比较。请注意,尽管 HRRR 模型预测的结构看起来与地面真值更相似,但其细节可能严重错误。


HRRR 物理模型的预测看起来比 MetNet 模型的预测更清晰,更结构化,但是由于模型初始条件和参数的不确定性,其结构(特别是预测结构的确切时间和位置)的准确性较差。



HRRR(左)预测了许多可能结果中的单个潜在未来结果(红色),而 MetNet(右)则通过分配未来结果的概率来直接考虑不确定性


这个视频提供了 HRRR 与 MetNet 模型之间更全面的比较:


视频地址:https://youtu.be/-dAvqroX7ZI

未来发展方向

我们正在积极研究如何改善全球天气预报能力,尤其是在快速的气候变化影响最深的地区。虽然我们现在演示的是针对美国大陆的 MetNet 模型,但也可以将其扩展到可获得适当雷达和光学卫星数据的任何区域上。此处介绍的工作只是这一计划的小里程碑,我们希望通过与气象界的进一步合作来获得更大改进。


致谢


该项目是与 Lasse Espeholt、Jonathan Heek、Mostafa Dehghani、Avital Oliver、Tim Salimans、Shreya Agrawal 和 Jason Hickey 合作完成的。我们还要感谢 Manoj Kumar、Wendy Shang、Dick Weissenborn、Cenk Gazen、John Burge、Stephen Hoyer、Lak Lakshmanan、Rob Carver、Carla,Bromberg 和 Aaron Bell 提供的意见,并感谢 Tom Small 提供的可视化帮助。


原文链接:https://ai.googleblog.com/2020/03/a-neural-weather-model-for-eight-hour.html


公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2020-03-30 15:102491
用户头像
赵钰莹 InfoQ 主编

发布了 874 篇内容, 共 605.2 次阅读, 收获喜欢 2671 次。

关注

评论

发布
暂无评论
发现更多内容

刚拿的字节跳动offer“打水漂”

爱好编程进阶

Java 面试 后端开发

单例模式你不得不知道的底层原理

爱好编程进阶

Java 面试 后端开发

「內元宇宙」革命 聯載

因田木

元宇宙 我富國 創世紀 陰陽五行 股權去中心化

10分钟快速入门RDS

乌龟哥哥

4月月更

开发者工具 Top 100 名单

爱好编程进阶

Java 面试 后端开发

性能调优篇:困扰我半年之久的RocketMQ timeout exception 终于破解了

爱好编程进阶

Java 面试 后端开发

不同研发协作模式在云效中的应用

阿里云云效

云计算 阿里云 云原生 研发 研发协作

移动平台WorkPlus集成化办公,打造企业全场景业务生态

WorkPlus

别找了,这是迄今为止把微服务讲的最清楚的一篇!没有之一

爱好编程进阶

Java 面试 后端开发

图文并茂 教你在IDEA中如何一键生成代码,提高开发效率!

爱好编程进阶

Java 面试 后端开发

大数据基础处理框架

爱好编程进阶

Java 面试 后端开发

再谈企业信息化的本质

秋去冬来春未远

信息化本质

学生管理系统的架构文档

Kevin

「架构实战营」

你知道Java是如何解决可见性和有序性问题的吗?

爱好编程进阶

Java 面试 后端开发

CDF全球调查:软件交付性能停滞不前

SoFlu软件机器人

历经4轮2小时,终于斩下美团offer!

爱好编程进阶

Java 面试 后端开发

哪路神仙写的421页MySQL高级笔记,涵盖MySQL所有技术!太香了

爱好编程进阶

Java 面试 后端开发

并发工具之Semaphore与Exchanger

爱好编程进阶

Java 面试 后端开发

你必须懂也可以懂的微服务系列三:服务调用

爱好编程进阶

Java 面试 后端开发

工作总结!日志打印的15个建议

爱好编程进阶

Java 面试 后端开发

分布式shiro权限验证 二

Rubble

4月日更

为什么switch里的case没有break不行

爱好编程进阶

Java 面试 后端开发

大爆料!Github上100%好评的Java多线程池面试题

爱好编程进阶

Java 面试 后端开发

字节奋战7年,回头一看只剩下这份1857页的算法笔记了

爱好编程进阶

Java 面试 后端开发

基于华为云图像识别标签

乌龟哥哥

4月月更

Oceanbase 和 TiDB 粗浅对比之 - 执行计划

TiDB 社区干货传送门

为拿几家大厂Offer,“闭关修炼

爱好编程进阶

Java 面试 后端开发

观测云登陆阿里云计算巢,共建ISV新生态

观测云

可观测性 可观测

华为18级大牛整理总结:微服务设计和分布式服务框架原理实践文档

爱好编程进阶

Java 面试 后端开发

大量示例彻底搞懂Linux查找,which,whereis

爱好编程进阶

Java 面试 后端开发

Module-3:外包学生管理系统架构设计文档

Jadedev

架构训练营

谷歌MetNet:秒级别预测的神经网络天气模型_AI&大模型_谷歌官方博客_InfoQ精选文章