2 Matching Annotations
  1. Feb 2019
    1. Weighted Channel Dropout for Regularization of Deep Convolutional Neural Network

      这项工作由 Hou 和 Wang 完成,受到了以下观察的启发。在一个 CNN 的卷积层的堆栈内,所有的通道都是由之前的层生成的,并会在下一层中得到平等的对待。这就带来了一个想法:这样的「分布」可能不是最优的,因为事实可能证明某些特征比其它特征更有用。当特征仍然可追溯时,对于更高层(更浅)来说尤其如此。Zhang et al. 2016 更进一步表明了这一点,他们表明,对于每张输入图像,更高层中仅有少量通道被激活,同时其它通道中的神经元响应接近于零。

      由此,作者提出了一种根据激活的相对幅度来选择通道的方法,并可以进一步作为一种建模通道之间的依赖关系的特殊方法。他们这项工作的主要贡献是为 CNN 中卷积层的正则化提出了加权式通道丢弃(Weighted Channel Dropout/WCD)方法。

  2. Nov 2018
    1. Dropout is a special case of the stochastic delta rule: faster and more accurate deep learning

      需要好好读读的~ 似乎在暗示我应该继续从信号处理的角度解读 MLP 和 CNN 的原理,应该是很有价值的!

      好好写个 Paper Summary 为好~