基于mpiegaze和mpiefacegaze的凝视估计
ptgaze的Python项目详细描述
mpiegaze和mpiefacegaze的演示程序
有了这个程序,你可以对图像和视频进行凝视估计。 默认情况下,使用来自网络摄像头的视频。在
(原始视频来自this public domain。)
(原始图像来自this public domain。)
要训练模型,请使用this repository。在
快速入门
安装
pip install ptgaze
运行演示
^{pr2}$用法
usage: ptgaze [-h] [--config CONFIG] [--mode {eye,face}]
[--face-detector {dlib,face_alignment_dlib,face_alignement_sfd}]
[--device {cpu,cuda}] [--image IMAGE] [--video VIDEO]
[--camera CAMERA] [--output-dir OUTPUT_DIR] [--ext {avi,mp4}]
[--no-screen] [--debug]
optional arguments:
-h, --help show this help message and exit
--config CONFIG Config file for YACS. When using a config file, all
the other commandline arguments are ignored. See https
://github.com/hysts/pytorch_mpiigaze_demo/configs/demo
_mpiigaze.yaml
--mode {eye,face} With 'eye', MPIIGaze model will be used. With 'face',
MPIIFaceGaze model will be used. (default: 'eye')
--face-detector {dlib,face_alignment_dlib,face_alignement_sfd}
The method used to detect faces and find face
landmarks (default: 'dlib')
--device {cpu,cuda} Device used for model inference.
--image IMAGE Path to an input image file.
--video VIDEO Path to an input video file.
--camera CAMERA Camera calibration file. See https://github.com/hysts/
pytorch_mpiigaze_demo/ptgaze/data/calib/sample_params.
yaml
--output-dir OUTPUT_DIR, -o OUTPUT_DIR
If specified, the overlaid video will be saved to this
directory.
--ext {avi,mp4}, -e {avi,mp4}
Output video file extension.
--no-screen If specified, the video is not displayed on screen,
and saved to the output directory.
--debug
在处理图像或视频时,按窗口上的以下键 显示或隐藏中间结果:
l
:地标h
:头部姿势t
:三维人脸模型的投影点b
:面边界框
参考文献
- 张、徐聪、苏加诺、马里奥·弗里茨和安德烈亚斯·布林。”在野外基于外貌的凝视评估。IEEE计算机视觉与模式识别会议(CVPR),2015年。arXiv:1504.02863,Project Page
- 张、徐聪、苏加诺、马里奥·弗里茨和安德烈亚斯·布林。”它写在你的脸上:基于全脸外貌的凝视评估。2017年IEEE计算机视觉和模式识别研讨会(CVPRW)会议。arXiv:1611.08860,Project Page
- 张、徐聪、苏加诺、马里奥·弗里茨和安德烈亚斯·布林。”MPIIGaze:真实世界数据集和基于深度外观的凝视估计〉,《IEEE模式分析与机器智能汇刊》41(2017)。arXiv:1711.09017
- 项目
标签: