如何利用相似数据集改进在原始数据集上训练的模型？

Question

我想训练一个简历版面分析模型，我想用Publaynetdataset作为文档版面分析模型的起点。我也在用MaskRCNN。Publaynet上的模型在0.001的学习率上收敛非常慢，随着lr模型损失的增加，收敛速度变得NAN。你知道吗

Epoch 1/1000 [==============================] - 28060s 1s/step - loss: 1.4826
Epoch 2/1000 [==============================] - 27881s 1s/step - loss: 1.4227
Epoch 3/1000 [==============================] - 28018s 1s/step - loss: 1.3893
Epoch 4/1000 [==============================] - 27859s 1s/step - loss: 1.3611 
Epoch 5/1000 [==============================] - 27784s 1s/step - loss: 1.3337 
Epoch 6/1000 [=======>......................] - ETA: 5:32:04 - loss: 1.3085 

由于这两个数据集不相似，我应该等待模型在publaynet上完全收敛，然后在原始数据集上进行训练，还是几次迭代就足以从这个数据集中获得最大值。你知道吗