谷歌 AI 和 Facebook 提出 AI 模型 QuaterNet,改善 3D 人体姿势预测

发布于:2019 年 1 月 25 日 14:37

谷歌AI和Facebook提出AI模型QuaterNet,改善3D人体姿势预测

预测 3D 人体姿势可能不属于大多数人关注的范畴,但机器人技术、计算机图形学和其他关注运动学的领域(与物体运动有关的力学分支)却可以从能够做到这一点的系统中受益匪浅。此前,由谷歌提出的姿势预测成为应用人工智能(AI)的任务之一,但先前的相关工作遇到了一些障碍:数字关节和骨骼会向不自然的方向拉伸,特别是当关节旋转时。

幸运的是,Facebook 的人工智能研究部门,谷歌大脑和苏黎世联邦理工学院的新研究有望解决这个问题。在本周发布在 Arxiv.org 预印论文网站上的一篇论文(《基于四元数的人体运动神经网络》)中,研究人员提出了一个人工智能系统——QuaterNet,它通过将关节旋转表示为四元数的复数系统,以及惩罚关节位置错误来改善姿势生成。

谷歌AI和Facebook提出AI模型QuaterNet,改善3D人体姿势预测

正如本文的共同作者所解释的那样,循环神经网络(一种能够学习长期相关性的 AI 算法)历来被用于执行短期和长期姿态预测,而卷积神经网络 (非常擅长于分析视觉图像的算法)已成功应用于长期生成运动(从一个位置移动到另一个位置)。但由于人体姿势的固有随机性,是否能获得一个完美的模型仍然难以预测。

“人体运动是一个具有高度不确定性的随机过程,”研究人员写道。“对于一个给定的过去情景,未来会有多个可能的未来帧序列,并且不确定性会随着持续时间而增加。”

大多数模型使用转换运算符来预测先前姿势的下一个姿势。它们从摄取的记录帧中输出记录的目标帧,这在大多数情况下都很有效。但这个过程不会暴露它的错误,因此会阻阻碍它学习,以避免重蹈覆辙。

谷歌AI和Facebook提出AI模型QuaterNet,改善3D人体姿势预测

上图:AI 模型生成的姿势。

相比之下,研究人员提出的系统采用卷积神经网络,它可以查看过去的帧,通过持续将自己暴露于预测中不断学习进行长期预测。同时,损失函数(将一个或多个变量的值映射到实数上的函数)输入关节旋转并计算每个关节的位置。共同作者表示,这既改善了模型的稳定性,又减少了误差。

为了验证该模型的短期姿势预测能力,研究人员在 Human3.6M 上进行测试,这是一个开源 3D 人体姿势数据集,包含来自 7 名演员演示的 15 个动作的 360 万个人类姿势以及相应的图像。而长期生成测试评估在包含运动样本的其他数据集上进行。

在短期预测任务中,报告显示该模型在 Human3.6M 上的性能有所提升。另外,在长期姿势生成任务中,其目标是在给定平均速度和地面轨迹的情况下生成姿势序列,该模型的表现与最近的工作相比为“定性地”,同时时间和空间限制更好。

未来,QuaterNet 将扩展到其他与运动相关的任务中,例如动作识别或视频的姿势估计,以及采用“直接在四元数域中执行计算”的神经网络。

原文链接:

https://venturebeat.com/2019/01/24/facebook-and-googles-ai-generates-3d-human-poses/

阅读数:5037 发布于:2019 年 1 月 25 日 14:37

更多 AI、Google、Facebook 相关课程,可下载【 极客时间 】App 免费领取 >

评论

发布
暂无评论