autodl-gpu 0.1.1

英语| 简体中文

1。NeurIPS AutoDL挑战第一解决方案

1st对于AutoDL Challenge@NeurIPS的解决方案，可以在AutoDL Competition找到竞争规则。在

1.0.1条。动机

现实世界中存在着一系列常见而棘手的问题，如有限的资源（CPU/memory）、数据倾斜、手工艺特征、模型选择、网络结构细节调整、预训练模型的敏感性、超参数的敏感性等。如何全面有效地解决这些问题？在

1.0.2条。解决方案

AutoDL致力于开发各种模式的多标签分类问题的通用算法：图像、视频、语音、文本和表格数据，无需任何人工干预。10秒我们的解决方案在所有24个离线数据集和15个在线数据集上实现了SOTA性能，击败了世界上许多顶尖的提供商。在

1.1条。目录

• 1. NeurIPS AutoDL Challenge 1'st Solution
  • 1.0.1. Motivation
  • 1.0.2. Solution
  • 1.1. Table of Contents
  • 1.2. Features
  • 1.3. Evaluation
  • 1.4. Installation
    • 1.4.1. With pip
    在
  • 1.5. Quick Tour
    • 1.5.1. Run local test tour
    • 1.5.2. Tour of Image Classification
    • 1.5.3. Tour of Video Classification
    • 1.5.4. Tour of Speech Classification
    • 1.5.5. Tour of Text Classification
    • 1.5.6. Tour of Tabular Classification
    在
  • 1.6. Public Datasets
    • 1.6.1. Optional: Download public datasets
    • 1.6.2. Public datasets sample info
    在
  • 1.7. Usage for AutoDL local development and testing
  • 1.8. Contributing
  • 1.9. Contact us
  • 1.10. Join the Community
  • 1.11. License
  在

1.2条。特点

• Full AutoML/AutoDL：全自动深度学习，无需任何人工干预，覆盖整个管道。在
• Generic&Universal：支持任何形式（图像、视频、语音、文本、表格）数据和ANY分类问题，包括二进制类、多类和多标签问题。在
• SOTA：AutoDL挑战赛的赢家解决方案，包括传统机器学习模型和深度学习模型主干。在
• 开箱即用：您可以使用现成的解决方案。在
• Fast：您可以最快在10秒内训练您的模型，以获得极具竞争力的性能。在
• Real-time：您可以实时获得性能反馈（AUC分数）。在

1.3条。评价

• 反馈阶段排行榜：DeepWithTop 1，平均排名1.2，赢得5个数据集中的4个。

  在

• 最终阶段排行榜可视化：DeepWithTop 1，平均排名1.2，在10个数据集中赢得7个。

  在

1.4条。安装

这个回购在python3.6+、PyTorch 1.0.0+和TensorFlow 2.0上进行了测试。在

您应该在virtual environment中安装AutoDL。如果您不熟悉Python虚拟环境，请查看user guide。在

使用要使用的Python版本创建一个虚拟环境并激活它。在

现在，如果您想使用AutoDL，可以用pip安装它。在

1.4.1条。有pip

可以使用pip安装AutoDL，如下所示：

pip install autodl-gpu 
pip install autodl-gpu=1.0.0 

1.5条。快速游览

1.5.1条。运行本地测试程序

见Quick Tour - Run local test tour。在

1.5.2条。图像分类之旅

见Quick Tour - Image Classification Demo。在

1.5.3条。视频分类之旅

见Quick Tour - Video Classification Demo。在

1.5.4条。语音分类之旅

见Quick Tour - Speech Classification Demo。在

1.5.5条。文本分类之旅

见Quick Tour - Text Classification Demo。在

1.5.6条。表格分类之旅

见Quick Tour - Tabular Classification Demo。在

1.6条。公共数据集

1.6.1条。可选：下载公共数据集

^{pr2}$

1.6.2条。公共数据集示例信息

#	Name	Type	Domain	Size	Source	Data (w/o test labels)	Test labels
1	Munster	Image	HWR	18 MB	MNIST	munster.data	munster.solution
2	City	Image	Objects	128 MB	Cifar-10	city.data	city.solution
3	Chucky	Image	Objects	128 MB	Cifar-100	chucky.data	chucky.solution
4	Pedro	Image	People	377 MB	PA-100K	pedro.data	pedro.solution
5	Decal	Image	Aerial	73 MB	NWPU VHR-10	decal.data	decal.solution
6	Hammer	Image	Medical	111 MB	Ham10000	hammer.data	hammer.solution
7	Kreatur	Video	Action	469 MB	KTH	kreatur.data	kreatur.solution
8	Kreatur3	Video	Action	588 MB	KTH	kreatur3.data	kreatur3.solution
9	Kraut	Video	Action	1.9 GB	KTH	kraut.data	kraut.solution
10	Katze	Video	Action	1.9 GB	KTH	katze.data	katze.solution
11	data01	Speech	Speaker	1.8 GB	--	data01.data	data01.solution
12	data02	Speech	Emotion	53 MB	--	data02.data	dat02.solution
13	data03	Speech	Accent	1.8 GB	--	data03.data	data03.solution
14	data04	Speech	Genre	469 MB	--	data04.data	data04.solution
15	data05	Speech	Language	208 MB	--	data05.data	data05.solution
16	O1	Text	Comments	828 KB	--	O1.data	O1.solution
17	O2	Text	Emotion	25 MB	--	O2.data	O2.solution
18	O3	Text	News	88 MB	--	O3.data	O3.solution
19	O4	Text	Spam	87 MB	--	O4.data	O4.solution
20	O5	Text	News	14 MB	--	O5.data	O5.solution
21	Adult	Tabular	Census	2 MB	Adult	adult.data	adult.solution
22	Dilbert	Tabular	--	162 MB	--	dilbert.data	dilbert.solution
23	Digits	Tabular	HWR	137 MB	MNIST	digits.data	digits.solution
24	Madeline	Tabular	--	2.6 MB	--	madeline.data	madeline.solution

1.7条。用于AutoDL本地开发和测试

第1页。Git克隆回购

cd <path_to_your_directory>
git clone https://github.com/DeepWisdom/AutoDL.git

1. 准备经过预训练的模型。 下载模型speech_model.h5，并将其放入AutoDL_sample_code_submission/at_speech/pretrained_models/目录。在

   在

2. 在可选：使用docker在与挑战平台完全相同的环境中运行。在

   • 中央处理器

   cd path/to/autodl/
   docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:cpu-latest
   

   • GPU

   nvidia-docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:gpu-latest
   

   在

3. 使用AutoDL_sample_data中的玩具数据准备示例数据集或下载新的数据集。在

   在

4. 运行本地测试

   在

python run_local_test.py

完全的用法是

python run_local_test.py -dataset_dir='AutoDL_sample_data/miniciao' -code_dir='AutoDL_sample_code_submission'

然后，您可以通过打开 AutoDL_scoring_output/中的HTML页。在

详情见AutoDL Challenge official starting_kit。在

1.8条。贡献

尽情潜水吧！Open an issue或提交pr。在

1.9条。联系我们

1.10条。加入社区

扫描二维码，加入AutoDL社区！在

1.11条。许可证

Apache License 2.0

标签：

• 项目

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库

• spreadsheet-maker

  用python创建google电子表格的简单框架

• pyesp

  基于mircopython和nodemcu的esp8266平台编程/通信工具

• spectre-api

  使用lumeta spectre api的包装器

• ansible-subprocess

  使用来自python子进程的ansible。

• eptransition

  python中的energyplus文件转换。

• pyobjc-framework-MediaPlayer

  macos上框架mediaplayer的包装器

• text-vectorizer

  NLP工具

• rlock

  加密api客户端

• picture-lake-weibo

  把新浪微博作爲圖床

• python-fuelclient

  命令行接口和python api燃料包装器。

• steptrace

  运行python代码并打印正在运行的行

• binx

  使用marshmallow+pandas的内存中数据存储和calc框架的接口

• simtk.unit

  python的单位

• biscuits

  快速可口的饼干处理。

• ghostlord

  细线鬼仓api