基于深度学习的用户自定义特征无标记位姿估计

deeplabcut的Python项目详细描述


<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<pypi-下载<<<<<<<<<<<<<<github之星" Github叉子

<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<image.sc论坛twitter follow

< imgsrc="https://warehouse-camo.cmh1.psfhosted.org/61407de353f32f286c7b82ca7197c45da182f502/68747470733a2f737461746963312e73717561726573706163652e636f6d2f7374617469632f35376636643533966373435336356563633237312f742f35633439653861343932653303035396438632f3135323633383138383372f444C436865616465722E706E673F666F726D61743D3130303077"width="100%" />

DeepLabcut是一个工具箱,用于对执行各种任务的动物进行无标记姿势估计。最初,我们演示了跟踪的功能,在小鼠中接触和产卵期间的各种果蝇行为(有关详细信息,请参见mathis等人)。但是,没有什么特别的东西使工具箱只适用于这些任务和/或种类。工具箱也已经成功地应用于(我们和其他人)老鼠、人类、各种鱼类、细菌、水蛭、各种机器人、猎豹,鼠标须赛马。这项工作利用了insafutdinov等人最先进的人体姿势估计算法之一deepercut的特征检测器(resnets+readout layers),它启发了我们工具箱的名称(见下面的参考文献)。

2.0版:这是随我们的自然协议论文(preprintdeeplabcut的python包(preprint)。 此软件包包括用于标记数据的图形用户界面,并将您从数据集创建带到自动行为分析。它还引入了一个主动学习框架,以便在大型实验项目中有效地使用DeepLabcut,并引入了新的数据增强功能,以提高网络性能,尤其是在有挑战性的情况下(见href="https://camo.githubusercontent.com/77c92f6b89d44ca758d15bdd7e801247437060b/687470733a2f2f737461746963312e73717561726573706163652e636f6d2f73746169632f3537663664353163396637343533666356363636363637312f742f35633366636363637353864363935306365376563372f3135343383339352f636865657461682E706E673F666F726D61743D37353077" rel="nofollow">面板B)。

版本1.0:git的历史中可以找到最初的自然神经科学版的deeplabcut,或者在这里:https://github.com/alexemg/deeplabcut/releases/tag/1.11" rel="nofollow">https://github.com/alexemg/deeplabcut/releases/tag/1.11

有关自动跟踪的更多视频演示,请访问www.deeplabcut.org。上图:由默西(老鼠)、莱文塔尔(老鼠)和阿克塞尔(苍蝇)实验室提供!

安装

如何安装DeepLabcut

DeepLabcut过程

项目管理的管道和工作流概述。另请阅读《自然协议用户指南》

< imgsrc="https://warehouse-camo.cmh1.psfhosted.org/3385A27E5DD49780C35A4B11F1F1F1F1F1F1F1F1F1F17DF0D9BC019D/68747474707373322222222F773743663312E737171717265736163652E63652E632E66F66D2F6D2F77474747474747474743636363636363636363636363536363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636722F3636363636363636363636是的46C635F6F766572766965772D30312E706E673F666F726D61743D3130303077"width="95%" />

演示代码

我们提供了几个jupyter笔记本:一个带您通过演示数据集测试安装,另一个笔记本从一开始就运行deeplabcut,使用您自己的数据。我们还将向您展示如何在Docker和Google Colab中使用代码。也请阅读自然协议文件

为什么要用DeepLabcut?< >
  • 左上角:由于迁移学习,它需要少量的培训数据才能进行多个具有挑战性的行为(详见mathis等人的mathis et al.

  • 右上角:视频分析速度很快(有关详细信息,请参见mathis/warren

  • 左中:功能检测器对视频压缩非常强大(有关详细信息,请参见mathis/warren(http://www.biorxiv.org/content/early/2018/10/30/457242" rel="nofollow">mathis/warren)

  • 右中:它允许使用单个网络和相机进行三维姿势估计(有关详细信息,请参见mathis/warren

  • 底部:它允许通过一个单一的网络对来自多台摄像机的数据以及标准三角测量方法进行三维姿势估计(详细信息请参见nath*和mathis*等)

< imgsrc="https://warehouse-camo.cmh1.psfhosted.org/a58dbe0b5325842890771f932bbec7373badc3338/687470733a2f2f737461746963312e73717561726573706163652e636f6d2f73746169632f35376636643531633966373363563636363633237312f742f35633333653437323538613932323435334383332343372f313533333831392f4572726F727673561696E696E67733657453697A652E706E673F666F726D61743D37353077"宽度="50%" />< imgsrc="https://warehouse-camo.cmh1.psfhosted.org/cc1f921CFB34FBFB34DB0FE68AAF3D52ACD350929B87B/68747470733A322222F77374743663312E7373717171726573676767676736652E6362E6366F6D2F774747474747474747474747467676767676763363636363633363636363636363636363636356563636363636363636363636363636363636363636363637312F77212F77436363636363636363636363636363636363636363636363636363636363636是的96E66572656E636577065642E706E673F666F726D61743D35303077"宽度="30%" />< imgsrc="https://warehouse-camo.cmh1.psfhosted.org/0c243b6adb9e9bb6f73d6fad273baf865dce0c3/68747470733a2f737461746963312e73717561726573706163652e636f6d2f73746169632f3537663664353163396637343533635636363636363637312f742f356333653436396438613932335343863323866612f3135343735333336302f636F6D70726573696F6E726F627573746E657332E706E673F666F726D61743D37353077"width="40%" />< img===============22222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222288888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888834363833333535352F636865657461682E706E673F666F726D61743D37353077"width="50%" />

代码贡献者:

亚历山大·马蒂斯(Alexander Mathis),Tanmay NathMackenzie Mathis。特征检测器代码基于eldar insafutdinov对deepercut的tensorflow实现。DeepLabcut是一个开源工具,它受益于许多个人的建议和编辑,包括Richard Warren、Ronny Eichler、Jonas Rauber、Hao Wu、Federico Claudi、Gary Kane、Taiga Abe,以及jonny saunders以及贡献者。特别是,作者感谢ronny eichler对模块化版本的输入。

这是一个积极开发的软件包,我们欢迎社区发展和参与。

社区支持、开发人员和帮助:

  • 如果您遇到以前未报告的错误/代码问题,请在此处发布(我们鼓励您首先搜索问题):https://github.com/alexemg/deeplabcut/issues

  • 对于社区提供的帮助和问题,我们要求您在这里发布它们:image.sc forum

  • 在这里进行快速讨论:grid

如果您想贡献代码,请发出一个pull请求,其中包括您如何修改代码和它有什么新功能,它已经在操作系统上进行了测试,以及testscript.py的输出。

参考文献:

如果您使用此代码或数据,请引用mathis et al,2018,如果您使用python包(deeplabcut2.0),请同时引用nath,mathis et al,2019年

有关详细信息,请查看以下参考资料:

@article{Mathisetal2018,
    title={DeepLabCut: markerless pose estimation of user-defined body parts with deep learning},
    author = {Alexander Mathis and Pranav Mamidanna and Kevin M. Cury and Taiga Abe  and Venkatesh N. Murthy and Mackenzie W. Mathis and Matthias Bethge},
    journal={Nature Neuroscience},
    year={2018},
    url={https://www.nature.com/articles/s41593-018-0209-y}
}

 @article{NathMathisetal2019,
    title={Using DeepLabCut for 3D markerless pose estimation across species and behaviors},
    author = {Nath*, Tanmay and Mathis*, Alexander and Chen, An Chi and Patel, Amir and Bethge, Matthias and Mathis, Mackenzie W},
    journal={Nature Protocols},
    year={2019},
    url={https://doi.org/10.1038/s41596-019-0176-0}
}

@article{insafutdinov2016eccv,
    title = {DeeperCut: A Deeper, Stronger, and Faster Multi-Person Pose Estimation Model},
    author = {Eldar Insafutdinov and Leonid Pishchulin and Bjoern Andres and Mykhaylo Andriluka and Bernt Schiele},
    booktitle = {ECCV'16},
    url = {http://arxiv.org/abs/1605.03170}
}

我们的开放存取预打印:

@article {NathMathis2018,
    author = {Nath*, Tanmay and Mathis*, Alexander and Chen, An Chi and Patel, Amir and Bethge, Matthias and Mathis, Mackenzie W},
    title = {Using DeepLabCut for 3D markerless pose estimation across species and behaviors},
    year = {2018},
    doi = {10.1101/476531},
    publisher = {Cold Spring Harbor Laboratory},
    URL = {https://www.biorxiv.org/content/early/2018/11/24/476531},
    eprint = {https://www.biorxiv.org/content/early/2018/11/24/476531.full.pdf},
    journal = {bioRxiv}
}

@article{mathis2018markerless,
    title={Markerless tracking of user-defined features with deep learning},
    author={Mathis, Alexander and Mamidanna, Pranav and Abe, Taiga and Cury, Kevin M and Murthy, Venkatesh N and Mathis, Mackenzie W and Bethge, Matthias},
    journal={arXiv preprint arXiv:1804.03142},
    year={2018}
}

@article {MathisWarren2018speed,
    author = {Mathis, Alexander and Warren, Richard A.},
    title = {On the inference speed and video-compression robustness of DeepLabCut},
    year = {2018},
    doi = {10.1101/457242},
    publisher = {Cold Spring Harbor Laboratory},
    URL = {https://www.biorxiv.org/content/early/2018/10/30/457242},
    eprint = {https://www.biorxiv.org/content/early/2018/10/30/457242.full.pdf},
    journal = {bioRxiv}
}

许可证:

此项目是在GNU Lesser通用公共许可v3.0下授权的。请注意,本软件按"原样"提供,无任何明示或暗示的保证。如果您使用此代码或数据,请引用我们!

新闻(和新闻中):

  • 2019年6月:DLC 2.0.7发布了大量更新。有关更新,请参见版本

  • 2019年2月:DeepLabcut加入了Twittersrc="https://warehouse camo.cmh1.psfhosted.org/3a8a19423b2050672228073749f2c9e2028c45266/687470733a2f2f696d672e736869656c647332e69f294f7477697465722f666f6c6f772f4465704c61624375742e7376673f6c6162565704c6162437574267374796c653d736f6369616c" />

  • 2019年1月:我们在华沙、慕尼黑和剑桥为DLC举办了研讨会。这些材料可在这里获得

  • 2019年1月:我们加入了图像源论坛以获取用户帮助:image.sc forum

  • 2018年11月:我们在Biorxiv上发布了DeepLabcut 2.0的详细指南。它还包含一个猎豹三维姿态估计的案例研究。

  • 2018年11月:风险价值用户(和我们)提供的IOS(事后)分析脚本将在dlcutils上收集。请随意贡献!特别是,有一个脚本指导您完成 将项目导入DLC 2.0的新数据格式

  • 2018年10月:关于DeepLabcut的速度视频压缩和健壮性的新预打印

  • 2018年9月:自然实验室动物封面深度Labcut:行为跟踪深度切割

  • Kunlin Wei&Konrad Kording在我们的论文中写了一篇非常好的新闻和观点:行为跟踪变得真实

  • 2018年8月:我们的预印本出现在自然神经科学中。

  • 2018年8月:nvidia ai开发者新闻:ai启用无标记动物跟踪

  • 2018年7月:Ed Yong报道了DeepLabcut,并采访了大西洋的几个用户。

  • 2018年4月:第一次DeepLabcut预印在arxiv.org上

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
CentOS上的java Spring Boot简易应用程序需要很长时间才能启动   java如何检查字符串值是否等于null?   收集器中的java映射值。分组方式()   java需要支持Azure AD B2C webapp集成   java如何加入线程以停止它?   java如何使用意图传递类的对象?   java如何在战争环境中发现CDI生产者?   多模块项目中java奇怪的编译器行为   java如何在web应用程序中管理密码?   java从http服务器、filehandler中删除冗余代码   java使用反射来获取泛型类的字段   java Spring MVC/Hibernate/MySQL 400错误请求错误   给定正整数a的java幂为3   在Java中将元素拆分为不同数量的列表?   java展开折叠窗格