在模拟仿真的环境中，一部分属于静态的物体，以背景为主，比如高架桥、楼房、街道、树木、河流和山丘等等，另一部分是动态的物体，比如汽车、行人、摩托车、自行车和动物等等。静态的环境数据需要 3-D 模型或者 IBR 模型，而动态的活动模型，就需要提供运动学和动力学模型。
在汽车工业，有众多成熟的仿真模拟公司做汽车 CAD 模型和车体运动学 / 动力学模型，比如 MSC 软件公司的 VIRES、西门子收购的公司 TASS 开发的 PreScan、IPG 公司的 CarMaker、Mechanical Simulation 公司的 CarSim 和 dSpace 的 Automotive Simulation Models（ACM）等。如下图分别是 CarMaker、CarSim 和 ACM 的汽车模型。
人体模型以及人脸模型是模拟行人的基础，作为外观的服装也需要 3-D 建模，至于更多的细节如皮肤和头发部分，对自动驾驶环境仿真的效果不那么敏感。同时作为一个运动物体，本身需要提供其骨架模型（skeleton model），行走或者其他动作，如倒地和蹲下等，需要运动学模型确定，甚至摩托车手和自行车手也可以在一些动作细节上做工作，体现出其特有的动作模型。面部表情和人体动作一样，也需要提供变形模型（也有肌肉模型和表情单元模型等）和运动学方程决定仿真的面部动作，如惊讶，微笑，甚至哭泣等等。手指运动类似于人体运动，有独特的骨架模型描述。
在对人体运动理解和建模困难的情况下，以前动画游戏制作者会采用运动捕获技术，即在运动物体身上贴红外标记（marker），在红外摄影数据中得到人体模型的运动模式。
在计算机视觉研究领域，一些研究者探索如何通过真实图像的数据采用机器学习和概率方法对人体（包括提到的人脸，服装等）的外观和运动（包括表情和手势）进行建模，其中还是和计算机图形学的 3-D 模型结合，即 IBR 或者 VBR（video-based rendering）技术。
基于视频数据重建 3-D 人体模型：
一个交互式服装建模和编辑的工具：
一种基于深度学习得到运动转换的方法，这里将基于视觉捕获的人体运动传递到另外一个人身上。
基于深度学习 GAN 理论学习一个面部表情的转换方法，基于视觉的面部显著标记（landmark）处理，可以将一个人的表情传递到另外一个人脸上。
对一些表观和运动细节的把握也有一些研究工作，如下图基于深度学习从图像中直接头发建模：
对自行车手的特技动作进行建模，得到其运动学模型表示：
参考文献：
1、 CarMaker
2、 CarSim
3、 ACM
4、Alldieck et al., “Video Based Reconstruction of 3D People Models”, SIGGRAPH 2018
5、N Umetani et al., “Sensitive Couture for Interactive Garment Modeling and Editing”, SIGGRAPH 2011.
6、C Chan et al., “Everybody Dance Now”，arXiv 1808.07371，2018
7、E Zakharov et al.,“Few-Shot Adversarial Learning of Realistic Neural Talking Head Models“，arXiv 1905.08233，2019
8、M Chai et al., “AutoHair: Fully Automatic Hair Modeling from A Single Image”，SIGGRAPH，2016
9、J Tan et al.,“Learning Bicycle Stunts”，SIGGRAPH 2014
评论