在模拟仿真的环境中，一部分属于静态的物体，以背景为主，比如高架桥、楼房、街道、树木、河流和山丘等等，另一部分是动态的物体，比如汽车、行人、摩托车、自行车和动物等等。静态的环境数据需要3-D模型或者IBR模型，而动态的活动模型，就需要提供运动学和动力学模型。

在汽车工业，有众多成熟的仿真模拟公司做汽车CAD模型和车体运动学/动力学模型，比如MSC软件公司的VIRES、西门子收购的公司TASS开发的PreScan、IPG公司的CarMaker、Mechanical Simulation公司的CarSim和dSpace的Automotive Simulation Models（ACM）等。如下图分别是CarMaker、CarSim和ACM的汽车模型。

图片来自黄浴的知乎

人体模型以及人脸模型是模拟行人的基础，作为外观的服装也需要3-D建模，至于更多的细节如皮肤和头发部分，对自动驾驶环境仿真的效果不那么敏感。同时作为一个运动物体，本身需要提供其骨架模型（skeleton model），行走或者其他动作，如倒地和蹲下等，需要运动学模型确定，甚至摩托车手和自行车手也可以在一些动作细节上做工作，体现出其特有的动作模型。面部表情和人体动作一样，也需要提供变形模型（也有肌肉模型和表情单元模型等）和运动学方程决定仿真的面部动作，如惊讶，微笑，甚至哭泣等等。手指运动类似于人体运动，有独特的骨架模型描述。

在对人体运动理解和建模困难的情况下，以前动画游戏制作者会采用运动捕获技术，即在运动物体身上贴红外标记（marker），在红外摄影数据中得到人体模型的运动模式。

在计算机视觉研究领域，一些研究者探索如何通过真实图像的数据采用机器学习和概率方法对人体（包括提到的人脸，服装等）的外观和运动（包括表情和手势）进行建模，其中还是和计算机图形学的3-D模型结合，即IBR或者VBR（video-based rendering）技术。

基于视频数据重建3-D人体模型：

图片来自黄浴的知乎

一个交互式服装建模和编辑的工具：

图片来自黄浴的知乎

一种基于深度学习得到运动转换的方法，这里将基于视觉捕获的人体运动传递到另外一个人身上。

图片来自黄浴的知乎

基于深度学习GAN理论学习一个面部表情的转换方法，基于视觉的面部显著标记（landmark）处理，可以将一个人的表情传递到另外一个人脸上。

图片来自黄浴的知乎

对一些表观和运动细节的把握也有一些研究工作，如下图基于深度学习从图像中直接头发建模：

图片来自黄浴的知乎

对自行车手的特技动作进行建模，得到其运动学模型表示：

图片来自黄浴的知乎

参考文献：

1、CarMaker
2、CarSim
3、ACM
4、Alldieck et al., “Video Based Reconstruction of 3D People Models”, SIGGRAPH 2018
5、N Umetani et al., “Sensitive Couture for Interactive Garment Modeling and Editing”, SIGGRAPH 2011.
6、C Chan et al., “Everybody Dance Now”，arXiv 1808.07371，2018
7、E Zakharov et al.,“Few-Shot Adversarial Learning of Realistic Neural Talking Head Models“，arXiv 1905.08233，2019
8、M Chai et al., “AutoHair: Fully Automatic Hair Modeling from A Single Image”，SIGGRAPH，2016
9、J Tan et al.,“Learning Bicycle Stunts”，SIGGRAPH 2014

本文来源：
https://zhuanlan.zhihu.com/p/66962321

创作场景

模拟仿真系统中的汽车和行人模型