张量流模型的保存和模型平均值的计算

Question

我正试图实现和再现本文中的联邦测试结果 Federated pretraining and fine-tuning of BERT using clinical notes from multiple silos

我更喜欢使用TensorFlow 预训练代码

为了以联合的方式进行培训，最初，我将数据集分为3个不同的存储库（每个存储库包含50名患者的出院总结，使用mimic-3数据）。然后使用TensorFlow对每个数据集的Bert模型进行预训练 从Bert的正式发布开始执行Bert预培训

现在我有三个不同的模型，它们是从不同的数据集预训练出来的。对于模型聚合，我需要取所有三个模型的平均值。由于每个思洛存储器中的注释数相等，为了求平均值，我需要对所有模型求和并除以三。 如何像论文中那样获取模型的平均值？有人，请给我一些见解，以便正确地编写代码。平均模型权重的想法取自文件FEDERATED LEARNING: STRATEGIES FOR IMPROVING COMMUNICATION EFFICIENCY

我对deep learning很陌生 和TensorFlow . 所以请有人帮我找出问题所在，并为TensorFlow推荐一些阅读材料 .

本文中提到，在共享临床数据时，这是克服隐私和监管问题的一个很好的选择。我的问题是

是否可以从此model.ckpt文件获取敏感数据？那么如何获取

任何帮助都将不胜感激。谢谢

Answer 1

模型平均可以通过多种方式进行。最简单的方法是在每个思洛存储器中拥有每个体系结构的完整副本，并对其参数得分进行（加权）平均，并将其用作完整模型的参数。然而，有许多实际问题（延迟、网络速度、设备的计算能力）可能会阻止这一点，因此使用了更复杂的解决方案，其中筒仓仅针对变量子集进行训练等（如您引用的论文所述）

通常不可能从数据集中检索信息（对其他信息敏感），而仅仅是从对数据集进行微调的模型的参数更新中检索信息