3 Matching Annotations
  1. Jun 2019
    1. RandomOut: Using a convolutional gradient norm to rescue convolutional filters

      或许导师这回可以相信初始化网络后的稳定性一直就是一个问题了吧~ 另外,此文还是在优秀的 MXNet 框架上跑的,赞一个~

  2. Feb 2019
    1. Fixup Initialization: Residual Learning Without Normalization

      关于拟合的表现,Regularization 和 BN 的设计总是很微妙,尤其是 learning rate 再掺和进来以后。此 paper 的作者也就相关问题结合自己的文章在 Reddit 上有所讨论。

  3. Jan 2019
    1. Generalization in Deep Networks: The Role of Distance from Initialization

      Goodfellow 转推了此文。

      作者强调了模型的初始化参数对解释泛化能力的重要性! ​