变分人体姿态先验用于人体姿态综合与估计。
human-body-prior的Python项目详细描述
vposer:变化的人体姿势先验
说明
人体关节的三维姿态是高维复杂的。 许多应用程序使用有效人体姿势的先验分布,但是建模这个分布是困难的。 在这里,我们提供了一个学习分布从一个大的人体姿势数据集表示为SMPL机构训练。
这里我们介绍一个在SMPLify-X中使用的方法。 我们称为vposer的可变人体姿势先验具有以下特点:
- 定义SMPL姿势参数之前的值
- 是端到端可微的
- 提供了一种在接受有效姿势的同时惩罚不可能的姿势的方法
- 有效地模拟身体关节之间的相关性
- 为人体姿势引入一种高效、低维的表示方法
- 可用于为数据相关任务生成有效的三维人体姿势
目录
- Description
- Installation
- Loading trained models
- Train VPoser
- Tutorials
- Citation
- License
- Acknowledgments
- Contact
安装
安装型号:
- 要从pypi安装,只需运行:
pip install human_body_prior
- 克隆此存储库并使用setup.py脚本安装它:
git clone https://github.com/nghorbani/human_body_prior python setup.py install
加载经过训练的模型
要下载经过培训的vposer模型,请转到SMPL-X project website并注册以访问下载部分。之后,您可以按照model loading tutorial来加载和使用经过培训的vposer模型。
训练vposer
我们用variational autoencoder训练vposer 它学习人体姿势的潜在表示,并将潜在代码的分布规律化为正态分布。 我们在AMASS数据集的数据上训练我们的先验知识; 具体地说,各种公开可用的人体运动捕捉数据集的smpl姿势参数。 您可以按照data preparation tutorial学习如何下载和准备用于vposer的amass。 之后,你可以train VPoser from scratch。
教程
- VPoser PoZ Space for Body Models
- Sampling Novel Body Poses from VPoser
- Preparing VPoser Training Dataset
- Train VPoser from Scratch
引文
如果您在研究/项目中直接或间接使用此代码,请引用以下文章:
@inproceedings{SMPL-X:2019,
title = {Expressive Body Capture: 3D Hands, Face, and Body from a Single Image},
author = {Pavlakos, Georgios and Choutas, Vasileios and Ghorbani, Nima and Bolkart, Timo and Osman, Ahmed A. A. and Tzionas, Dimitrios and Black, Michael J.},
booktitle = {Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR)},
year = {2019}
}
还要注意,如果您考虑使用amass数据集为您的研究培训自己的vposer, 然后请遵循其各自的引文指南。
许可证
用于非商业科研目的的软件版权许可证。 下载和/或使用SMPL-X/SMPLIFY-X模型、数据和软件(“模型和软件”)之前,请仔细阅读terms and conditions和任何附带文档,包括三维网格、混合权重、混合形状、纹理、软件、脚本和动画。通过下载和/或使用模型和软件(包括下载、克隆、安装和任何其他使用github存储库的方式),您确认已阅读这些条款和条件,理解它们,并同意受其约束。如果您不同意这些条款和条件,则不得下载和/或使用模型和软件。任何违反本协议条款的行为将自动终止您在本License项下的权利。
联系人
此存储库中的代码由Nima Ghorbani开发。
如果您有任何问题,可以通过smplx@tuebingen.mpg.de联系我们。
有关商业许可,请联系ps-licensing@tue.mpg.de
致谢
我们感谢AMASS的作者为这个项目提前发布了他们的数据集。 我们感谢Partha Ghosh对这个项目的讨论和见解。