Multi-digit Number Recognition from Street ViewImagery using Deep Convolutional Neural Networks

DEEP LEARNING WITH CONVOLUTIONAL NEURAL NETWORKS FOR IMAGE RECOGNITION: STEP-BY-STEP PROCESS FROM PREPARATION TO GENERALIZATION

all kinds of text classification models and more with deep learning

思路新颖并无卵用

这项工作由 Hou 和 Wang 完成，受到了以下观察的启发。在一个 CNN 的卷积层的堆栈内，所有的通道都是由之前的层生成的，并会在下一层中得到平等的对待。这就带来了一个想法：这样的「分布」可能不是最优的，因为事实可能证明某些特征比其它特征更有用。当特征仍然可追溯时，对于更高层（更浅）来说尤其如此。Zhang et al. 2016 更进一步表明了这一点，他们表明，对于每张输入图像，更高层中仅有少量通道被激活，同时其它通道中的神经元响应接近于零。

由此，作者提出了一种根据激活的相对幅度来选择通道的方法，并可以进一步作为一种建模通道之间的依赖关系的特殊方法。他们这项工作的主要贡献是为 CNN 中卷积层的正则化提出了加权式通道丢弃（Weighted Channel Dropout/WCD）方法。

深度卷积神经网络（CNN）是一种特殊类型的神经网络，在各种竞赛基准上表现出了当前最优结果。深度 CNN 架构在挑战性基准任务比赛中实现的高性能表明，创新的架构理念以及参数优化可以提高 CNN 在各种视觉相关任务上的性能。本综述将最近的 CNN 架构创新分为七个不同的类别，分别基于空间利用、深度、多路径、宽度、特征图利用、通道提升和注意力。

由于计算机视觉，医学成像等各种逆问题的优异性能，使用卷积神经网络（CNN）架构的编码器 - 解码器网络已被广泛用于深度学习文献中。然而，仍然难以获得相干几何学视图为何如此架构提供了理想的性能。最近对神经网络的普遍性，表现力和优化景观的理论认识以及卷积框架理论的启发，在这里我们提供了一个统一的理论框架，有助于更好地理解编码器 - 解码器CNN的几何。我们的数学框架表明，编码器 - 解码器CNN架构与使用组合卷积帧的非线性基表示密切相关，其可表达性随着网络深度呈指数增长。我们还展示了跳过连接的可表达性和优化环境的重要性。

Q Zhang 在知乎上亲自解答关于 Explanatory Graphs 的技术细节和研究理念~ http://t.cn/EqfQbAW [赞]

图做得很好看~~~

spatio-temporo-spectral features.

先辨别信号位置，再过滤出信号，这和 LIGO 找event波形的套路很像~ ；又看到 RNN与CNN 结合起来的应用~

李沐老师们的 paper！Pretty much summaries of various tricks by itself！

Paper Summary

Reddit： http://t.cn/Ey1gZKo ​

目测一些结果和自己的 paper 很接近，同时此 paper 于我而言，有太多值得借鉴的地方！同时又看到了 recurrency（类循环记忆单元）在模式识别领域有着很必要的用武之地！

This is interesting!

Here is an example of an annotation with an embedded video, taken from a page about Hurricane Harvey

<iframe frameborder="0" height="234" src="//fave.api.cnn.io/v1/fav/?video=us/2017/08/25/hurricane-harvey-space-station-sje-lon-orig.cnn&amp;customer=cnn&amp;edition=international&amp;env=prod" width="416"></iframe>

This video below was created by copying the embed code from http://edition.cnn.com/videos/politics/2017/05/31/fake-news-donald-trump-anonymous-sources-keeping-them-honest-ac.cnn and pasting it into the text field in the annotation editor:

<iframe frameborder="0" height="234" src="//fave.api.cnn.io/v1/fav/?video=politics/2017/05/31/fake-news-donald-trump-anonymous-sources-keeping-them-honest-ac.cnn&amp;customer=cnn&amp;edition=international&amp;env=prod" width="416"></iframe>

Great course

evaluation is done in Solver

compute two gradients

input总是在后面

pixel mask is valuable

Optimize code in reversed network.