目标检测模型的性能上下跳跃

Question

我正在训练一个模型，从非洲农村的卫星图像中探测建筑物。对于标签，我使用OpenStreetMap几何图形。我使用Tensorflow对象检测API和SSD Inception V2作为模型，并使用默认配置文件。我在两个不同的数据集（在不同的地理区域）上训练了不同的模型。在一个区域中，模型的行为与我预期的一样：

但是，当在其他领域培训模型时，其性能会上下波动：

请注意，我使用了完全相同的模型、配置、批量大小、训练区域大小相同等。在第二种情况下，模型的预测变化非常快，我不知道为什么。例如，以下是模型在107k和108k全局步长下所做预测的比较（即，我希望预测类似）：

我对深度学习还很陌生，无法理解为什么会发生这种情况。这可能是我忽略的一些简单的事情。我已经检查了标签，它们还可以。此外，我认为在每个时代，训练都会朝着错误的方向发展，这可能是一个糟糕的阶段，但事实并非如此——表现会像这样持续好几个时代

我将非常感谢任何提示在哪里寻找等，我正在使用TF1.14

如果我需要提供更多信息，请告诉我