在这里插一句，在R-CNN中用到IoU阈值的有两个地方，分别是Training时Positive与Negative判定，和Inference时计算mAP。论文中强调的IoU阈值指的是Training时Positive和Negative判定处。

简单来说，transformer容易处理具有图性质的输入类型，图是一种更普适的输入结构，图像和序列都可以转化为图，因此transformer是一种更普适的网络结构。self attention机制也无须你显式定义先验邻接矩阵，数据充足的情况下丢进去让模型自己学习边权连接即可。相应的transformer相对cnn rnn来说，模型往往参数更大，表达能力往往更强，通常需要更多数据才能喂饱它

多尺度特征融合带来的收益要远小于分而治之带来的收益，因此多尺度特征融合可能并非FPN最重要的影响因素；相反，分而治之将不同尺度的目标检测进行拆分处理，缓解了优化问题。

# 最大化discriminator价值函数 d_value_real = tf.reduce_mean(d_outputs_real) d_value_fake = tf.reduce_mean(tf.ones_like(d_outputs_fake) - d_outputs_fake) d_value = -(d_value_real + d_value_fake) # 最小化generator价值函数 # g_value = tf.reduce_mean(tf.ones_like(d_outputs_fake) - d_outputs_fake) g_value = -tf.reduce_mean(tf.log(d_outputs_fake))

在机器学习中，P往往用来表示样本的真实分布，Q用来表示模型所预测的分布，那么KL散度就可以计算两个分布的差异，也就是Loss损失值。

在解码器中，仅允许self-attention层参与输出序列中的较早位置。 这是通过在self-attention计算中的softmax步骤之前屏蔽将来的位置（将它们设置为-inf）来完成的。

如果拿机器翻译来解释这个分心模型的Encoder-Decoder框架更好理解，比如输入的是英文句子：Tom chase Jerry，Encoder-Decoder框架逐步生成中文单词：“汤姆”，“追逐”，“杰瑞”。在翻译“杰瑞”这个中文单词的时候，分心模型里面的每个英文单词对于翻译目标单词“杰瑞”贡献是相同的，很明显这里不太合理，显然“Jerry”对于翻译成“杰瑞”更重要，但是分心模型是无法体现这一点的，这就是为何说它没有引入注意力的原因。

也就是heatmap被downsample至原来的1/n后，还想继续upsample回去的话会造成精度的损失，这会严重影响到小物体框的位置精度，所以作者采用了offsets来缓解这种问题。

BN的核心思想不是为了防止梯度消失或者防止过拟合，其核心是通过对系统参数搜索空间进行约束来增加系统鲁棒性，这种约束压缩了搜索空间，约束也改善了系统的结构合理性，这会带来一系列的性能改善，比如加速收敛，保证梯度，缓解过拟合等。

在了解了三种 Re-Scaling 的含义及 Normalization 对应的三种不变性特性后，我们先归纳各种 Normalization 操作所对应的三种 Re-Scaling 的不变性特性如下表所示（Layer Normalization 原始论文分析了 LayerNorm 及 BatchNorm 的 Re-Scaling 不变性，本文作者补充了 InstanceNorm 及 GroupNorm 的情况以及细化了推导过程）：

前文有述，BN 在 RNN 中用起来很不方便，而 Layer Normalization 这种在同隐层内计算统计量的模式就比较符合 RNN 这种动态网络，目前在 RNN 中貌似也只有 LayerNorm 相对有效，但 Layer Normalization 目前看好像也只适合应用在 RNN 场景下，在 CNN 等环境下效果是不如 BatchNorm 或者 GroupNorm 等模型的。从目前现状看，动态网络中的 Normalization 机制是非常值得深入研究的一个领域。

另外一种是后续研究提出的，放在激活函数之后，不少研究表明将 BN 放在激活函数之后效果更好

我们现在无论用Pytorch还是Tensorflow，都会自然而然地加上Bacth Normalization(简称BN)，而BN的作用本质上也是控制每层输入的模值，因此梯度的爆炸/消失现象理应在很早就被解决了（至少解决了大半）。

可以发现，性能随着解码器层数的增加而提升，DETR本不需要NMS，但是作者也进行了，上图中的NMS操作是指DETR的每个解码层都可以输入无序集合，那么将所有解码器无序集合全部保留，然后进行NMS得到最终输出，可以发现性能稍微有提升，特别是AP50。

Query值一部分来自第1个Add and Norm的输出，维度为 的张量，另一部分来自Object queries，充当可学习的位置编码。所以，第2个multi-head self-attention的Key和Value的维度为 ，而Query的维度为。

解码器最终输出shape是(6,b,100,256)，6是指6个解码器的输出。

给定一张图片，经过CNN进行特征提取，然后变成特征序列输入到transformer的编解码器中，直接输出指定长度为N的无序集合，集合中每个元素包含物体类别和坐标。其中N表示整个数据集中图片上最多物体的数目，因为整个训练和测试都Batch进行，如果不设置最大输出集合数，无法进行batch训练，如果图片中物体不够N个，那么就采用no object填充，表示该元素是背景。

自此现在就是变成10个向量输出，输出也是10个编码向量，然后取第0个编码输出进行分类预测即可。从这个角度看可以认为编码器多了一点点解码器功能。具体做法超级简单，0就是位置编码向量，是可学习的patch嵌入向量。

ce loss

最大问题应该是无法并行训练，不利于大规模快速训练和部署

se模块最终是学习出一个1x1xc的向量，然后逐通道乘以原始输入，从而对特征图的每个通道进行加权即通道注意力，对attention进行抽象，不管啥领域其机制都可以归纳为下图： <img src="https://pic3.zhimg.com/v2-b40f05b5957b7f7cef7a10e4c97932a2_b.jpg" data-caption="" data-size="normal" data-rawwidth="736" data-rawheight="328" class="origin_image zh-lightbox-thumb" width="736" data-original="https://pic3.zhimg.com/v2-b40f05b5957b7f7cef7a10e4c97932a2_r.jpg"/>

其核心思想都是通过Encoder编码成一个表示向量，即上下文编码向量，然后交给Decoder来进行解码，翻译成目标语言

以下步骤重复该过程，直到输出一个特殊符号，该符号指示transformer解码器已完成其输出。 每个步骤的输出将在下一个时间步骤中馈送到底部解码器，同时我们在这些解码器输入中嵌入并添加位置编码以指示每个单词的位置。<img src="https://pic2.zhimg.com/v2-f234ea0b61cc6c155581533add4396c9_b.gif" data-size="normal" data-rawwidth="1438" data-rawheight="790" data-thumbnail="https://pic2.zhimg.com/v2-f234ea0b61cc6c155581533add4396c9_b.jpg" class="origin_image zh-lightbox-thumb" width="1438" data-original="https://pic2.zhimg.com/v2-f234ea0b61cc6c155581533add4396c9_r.jpg"/>

layer normalization操作

第三和第四步是将分数除以8（本文使用的key向量的维数64的平方根。这将导致具有更稳定的渐变。此处可能存在其他可能的值，但这是默认值），然后通过softmax函数来对分数进行归一化，使它们均为正，且和为1。<img src="https://pic4.zhimg.com/v2-6ade838b6b62f38cbfac50bdbd08482b_b.jpg" data-size="normal" data-rawwidth="867" data-rawheight="546" class="origin_image zh-lightbox-thumb" width="867" data-original="https://pic4.zhimg.com/v2-6ade838b6b62f38cbfac50bdbd08482b_r.jpg"/>

通过将单词A的query向量与单词B的key向量进行点积即可得出的。

通过上述对Attention本质思想的梳理，我们可以更容易理解本节介绍的Self Attention模型。Self Attention也经常被称为intra Attention（内部Attention），最近一年也获得了比较广泛的使用，比如Google最新的机器翻译模型内部大量采用了Self Attention模型。

所以本质上Attention机制是对Source中元素的Value值进行加权求和，而Query和Key用来计算对应Value的权重系数。即可以将其本质思想改写为如下公式：

而对于“图像描述”任务来说，Encoder部分的输入是一副图片，Decoder的输出是能够描述图片语义内容的一句描述语。

可以看出，网络的输出为分类数，并不是128。那么后面想要提取图像的特征，只需要在使用过程中，将最后一层classifier忽略即可（128维向量为输入到classifier前的特征图）。

作者将上面提到的两个阈值（分别为马氏距离和余弦距离的阈值）综合到了一起，联合判断该某一关联（association）是否合理可行的（admissible）。

一旦物体受到遮挡或者其他原因没有被检测到

•组合计算公式（1）和（2）作为计算第i个物体跟踪和第j个物体检测之间关联度量的总公式

数据交换更灵活，更少的磁盘读写

<a href="javascript:void(0)">单击此处什么也不会发生</a>