keras的Kaiming初始化

Question

我的模型层正在使用relu激活功能。我使用he_uniform作为内核初始值设定项，但是我看到kaiming初始化的结果比he_uniform好。我正在使用keras，keras没有kaiming初始值设定项，我如何实现它

Answer 1

这种混淆源于命名惯例，区别在于用名字或姓氏命名。基本上，初始化方法是由何开明合著的this paper中提出的。但是，框架实现不同

Tensorflow通过Keras后端使用名称He初始化。Torch使用Kaiming初始化作为方法名称

事实上，这同样适用于Glorot/Xavier初始化。见Xavier Glorot合著的the paper

这里，Tensorflow via Keras使用姓氏Glorot，而Torch使用名字Xavier