PYTHON如何排除已处理的文件

Question

我有一个预处理器，它可以打开输入/子文件夹中的.jpg文件，对它们进行处理并写入已处理/子文件夹/文件名.npy你知道吗

如果脚本失败，我只需要处理未处理的文件。如何检查processed/subfolders/中的所有文件，并从执行中排除与processed.npy文件名相同的所有.jpg文件？谢谢您！ 原因：处理需要43小时，如果失败-从头开始将是昂贵的。 注意：“input”和“processed”中的子文件夹数不同。你知道吗

Answer 1

对于长过程，生成日志文件总是很好的。 例如，您可以将：

input filenameInput ->output succeed filenameOutput

input filenameInput ->output failed filenameOutput

然后执行一个脚本，读取这个日志文件并重新运行（我猜是使用不同的输入参数）失败的进程。你知道吗