snake激活函数的示例PyTorch实现
torch-snake的Python项目详细描述
蛇
灵感来自"Neural Networks Fail to Learn Periodic Functions and How to Fix It"。在
作者们认为，至少你的论文的激活功能是你自己的
本文讨论了该功能的一些变体，该软件包实现了：
^{1}$安装
在主repo文件夹中，运行python setup.py install
使用
相当简单from snake.activations import Snake。Snake构造函数(code here)有一个可选的learnable参数alpha，默认为1。本文作者发现5到50之间的值对于“已知周期性”数据非常有效，而对于非周期性数据，为了获得更好的结果，您应该选择一个像0.2这样的小值。构造函数还接受一个alpha_learnable参数，该参数默认为True，因此如果实验需要，可以禁用“可学习性”。在
示例代码
有一本笔记本，还很粗糙-example.ipynb。在
致谢
如果没有Alexandra Deis和her excellent article，这段代码可能不会被编写。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
