基于mpiegaze和mpiefacegaze的凝视估计

ptgaze的Python项目详细描述


mpiegaze和mpiefacegaze的演示程序

有了这个程序,你可以对图像和视频进行凝视估计。 默认情况下,使用来自网络摄像头的视频。在

MPIIGaze video resultMPIIFaceGaze video result

(原始视频来自this public domain。)

MPIIGaze image result

(原始图像来自this public domain。)

要训练模型,请使用this repository。在

快速入门

安装

pip install ptgaze

运行演示

^{pr2}$

用法

usage: ptgaze [-h] [--config CONFIG] [--mode {eye,face}]
              [--face-detector {dlib,face_alignment_dlib,face_alignement_sfd}]
              [--device {cpu,cuda}] [--image IMAGE] [--video VIDEO]
              [--camera CAMERA] [--output-dir OUTPUT_DIR] [--ext {avi,mp4}]
              [--no-screen] [--debug]

optional arguments:
  -h, --help            show this help message and exit
  --config CONFIG       Config file for YACS. When using a config file, all
                        the other commandline arguments are ignored. See https
                        ://github.com/hysts/pytorch_mpiigaze_demo/configs/demo
                        _mpiigaze.yaml
  --mode {eye,face}     With 'eye', MPIIGaze model will be used. With 'face',
                        MPIIFaceGaze model will be used. (default: 'eye')
  --face-detector {dlib,face_alignment_dlib,face_alignement_sfd}
                        The method used to detect faces and find face
                        landmarks (default: 'dlib')
  --device {cpu,cuda}   Device used for model inference.
  --image IMAGE         Path to an input image file.
  --video VIDEO         Path to an input video file.
  --camera CAMERA       Camera calibration file. See https://github.com/hysts/
                        pytorch_mpiigaze_demo/ptgaze/data/calib/sample_params.
                        yaml
  --output-dir OUTPUT_DIR, -o OUTPUT_DIR
                        If specified, the overlaid video will be saved to this
                        directory.
  --ext {avi,mp4}, -e {avi,mp4}
                        Output video file extension.
  --no-screen           If specified, the video is not displayed on screen,
                        and saved to the output directory.
  --debug

在处理图像或视频时,按窗口上的以下键 显示或隐藏中间结果:

  • l:地标
  • h:头部姿势
  • t:三维人脸模型的投影点
  • b:面边界框

参考文献

  • 张、徐聪、苏加诺、马里奥·弗里茨和安德烈亚斯·布林。”在野外基于外貌的凝视评估。IEEE计算机视觉与模式识别会议(CVPR),2015年。arXiv:1504.02863Project Page
  • 张、徐聪、苏加诺、马里奥·弗里茨和安德烈亚斯·布林。”它写在你的脸上:基于全脸外貌的凝视评估。2017年IEEE计算机视觉和模式识别研讨会(CVPRW)会议。arXiv:1611.08860Project Page
  • 张、徐聪、苏加诺、马里奥·弗里茨和安德烈亚斯·布林。”MPIIGaze:真实世界数据集和基于深度外观的凝视估计〉,《IEEE模式分析与机器智能汇刊》41(2017)。arXiv:1711.09017

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java JavaFX SwingWorker等价物?   java如何检查一个字符串只包含数字和一个小数点?   java遇到了异常组织。阿帕奇。卡塔琳娜。LifecycleException:无法启动组件   java如何从日期格式获取最低计时单位?   java应用服务器与开发过程的集成   java我无法运行Junit测试   无法在java多线程处理中维护生产者任务的顺序   java如何在CLI应用程序中“拦截”Ctrl+C?   java如何使用JSch进行原子SFTP文件传输,以便在写入过程完成之前无法访问该文件?   java当用户摆弄html范围滑块时,如何更改内容(文本)?   如何在Java中向现有文件追加文本?   JUnit测试中的java模拟Apache驼峰位置   java Maven更新项目和依赖项