旨在简化数据处理以进行深度学习的轻量级包
melon的Python项目详细描述
甜瓜
Melon是一个轻量级软件包，旨在简化数据处理以进行深入学习。
它消除了在（模型）训练、测试和推理之前对数据进行预处理的样板代码的需要。
它旨在标准化数据序列化和操作方法。
默认格式与框架（如tensorflow/pytorch/keras的需求保持一致
该工具还根据用例提供不同级别的定制。
示例
图像
默认情况下options：
frommelonimportImageReaderdeftrain():source_dir="resources/images"reader=ImageReader(source_dir)X,Y=reader.read()...withtf.Session()ass:s.run(...,feed_dict={X_placeholder:X,Y_placeholder:Y})
source_dir目录应包含需要读取的图像。参考sample directory。
在示例目录中有一个可选的labels.txt文件，如Labeling所述。
由于图像的数量可能太大，无法装入内存，因此该工具支持批处理。
frommelonimportImageReaderdeftrain():source_dir="resources/images"options={"batch_size":32}reader=ImageReader(source_dir,options)whilereader.has_next():X,Y=reader.read()...
这将读取32批图像，直到读取所有图像。如果未指定batch_size，则reader.read()将读取所有图像。
自定义options：
frommelonimportImageReaderdeftrain():source_dir="resources/images"options={"data_format":"channels_last","normalize":False}reader=ImageReader(source_dir,options)...
这会将数据格式更改为channels-last（每个示例都是Height x Width x Channel），并且不会规范化数据。有关可用选项，请参见options。
选项
图像
- width
- Width of the output (pixels). default: ^{tt7}$
- height
- Height of the output (pixels). default: ^{tt7}$
- batch_size
- Batch size of each read. default: All images in a directory
- data_format
Format of the images data
^{tt9}$ - Channel x Height x Width (default)^{tt10}$ - Height x Width x Channel- 标签格式 标签数据的格式
^{tt11}$ - as a matrix, with one-hot vector per image (default)^{tt12}$ - as a vector, with a single label per image- 规格化
- 规范化数据。默认值：True
- num_threads-并行处理的线程数
- 默认值：机器的核心数
标记
在监督学习中，每个图像都需要映射到一个标签。
虽然该工具支持读取不带标签的图像（例如用于推断），但它也提供了一种标记图像的方法。
生成标签文件
要生成labels文件，请使用以下命令：
$ melon generate > Source dir:
#legend pedestrian:0 cat:1 parrot:2 car:3 apple tree:4 #map img275.jpg:1 img324.jpg:2 img551.jpg:3 img928.jpg:1 img999.png:0 img736.png:4
#legend节是可选的，但是#map节是将标签映射到图像所必需的。
标签格式
标签的输出格式可以在Custom options中指定。它默认为one-hot格式。
路线图
- 支持视频数据（2019年第1季度）
- 支持阅读AWS S3（2019年第2季度）
欢迎加入QQ群-->： 979659372
推荐PyPI第三方库
- 热门话题
- java如何使用springcloudconfig服务器将属性注入现有xml文件 java如何匹配AspectJ中没有特定注释的方法 java如何修改maven项目依赖项的代码 泛型为什么实现接口的类与Java中的接口类型不同？ java JScrollPane和GridBagLayout java pdfbox。util。ImageIOUtil。书写年龄问题 java未解析引用：textView PreparedStatement之后的java getGeneratedKeys（）。executeBatch（） java在jni程序中保存dll的位置 java自定义上下文注入 java如何在安卓上比较两个复选框值？ html创建访问本地java代码的网站 javarpost与JaxRS java如何更新被其他线程更改的类中的数组？ 在soapui java API中加载外部请求文件 java如何改进从socket读取XML的方式