作者总结说：1）CNN 层越少，FC 层里的node 就要越多才行。相反 CNN 越深，FC node 少就够了；2）浅的 CNN 除了需要更多 FC node 外，数据集 class 类目数越多，FC 层应该越多越好，反之亦然；3）对于单个 class 内样本越多的数据集，网络越深越好，但若 class 类目数很多，浅的网络表现会更好。

作者玩了把 CIFAR 测试数据集，认为有些样本作为 test 会与 train 样本太相近而过拟合的问题，于是就自己替换了疑似问题样本提出了新 test 数据集，最后拿那些著名模型实验后，庆幸说貌似它们没有过拟合而被错误评估模型优劣~（有点打脸的感觉~）

深度神经网络版的“特征工程”技术~ [doge]

在当代深度学习中，有两件事似乎无可争议：

1. softmax激活后的分类交叉熵损失是分类的首选方法；
2. 在小型数据集上从零开始训练CNN分类器效果不佳。在本文中作者证明，当处理小数据样本类时余弦损失函数比交叉上能够提供更好的性能。

目测是一篇很有爱的教程！

感觉此文于我而言真正有价值的恐怕只有文末附录的 Dataset tables 汇总整理了。。。。。

从此paper了解到了叫 Active learning 的有趣概念，这似乎和自己设计的连续参数训练数据采样池很接近。。。。

这篇文章的主要工作是给出了一个在图像分类中关于训练样本重要性的研究，对于样本的重要度采用基于梯度的方法进行度量。文章的结论可能表明在深度学习中主动学习或许并不总是有效的。

提出的 semi-supervised learning 这个概念比较有趣。给数据集每个 sample 打分或许对 interpretability 有点帮助吧。。。。

该文做的实验是探索对数据集进行 shifts (某种可控的扰动) 后的模型表现，提出了classifier-based的方法/pipeline 来观察和评价：

这对于我的引力波数据研究来说，可以借鉴其数据的 shift 方法以及评价机制 （two-sample tests）。

这是一个比较初步的简单实验。

图像结论其实并不意外：数据量越多当然表现越好；迁移学习在极小量数据上表现良好；Prototypical 模型可能因结构的特异性会表现出一定程度上的优势；数据量越小，过拟合问题越严重。。。

Large UK dataset containing extensive phenotypic, genotypic, and neuroimaging data.

License: Unclear, but restrictive. Access: Human, ? Needs data use agreement: Yes Needs institutional signature for access: No (?)

Public fMRI dataset repository.

• License: PDDL v.1.0
• Access: Human, s3 Needs data use agreement: No Needs institutional signature for access: No

License: Data use agreement Access: Human, API Needs data use agreement: Yes Needs institutional signature for access: No

Rich multimodal dataset on naturalistic stimuli

• License: PDDL v.10
• Access: Human, rsync, git annex
• Needs data use agreement: No
• Needs institutional signature for access: No

• License: PDDL v.10
• Access: Human, s3, openfmri
• Needs data use agreement: No
• Needs institutional signature for access: No

Bird song data set

this is interesting, and will be interesting to track within and across disciplines