Aug 5, 2017 · 其中我们的SENet实质上是一个SE-ResNeXt-152（64x4d），在ResNeXt-152上嵌入SE模块，并做了一些其他修改和训练优化上的小技巧，这些我们会在后续公开的论文中进行详细介绍。可以看出 SENet获得了迄今为止在single-crop上最好的性能。

SENet最重大的一个创新就是引入了SE Block，该模块由压缩模块与激励模块两部分组成。 SE Block 如上图所示SE Block，经卷积后的特征图，与其自身再经空间卷积后获得的1*1*C特征图相乘，获得最终的特征图。

来讲一个SENET的简单迁移。 Squeeze-and-Excitation Networks（简称 SENet）是 胡杰团队（WMW）提出的，利用SENet，一举取得 ImageNet 2017 竞赛 Image Classification 任务的冠军。

SENet 与self attention的attention机制的区别是什么? - 知乎

Nov 17, 2020 · SEnet（Squeeze-and-Excitation Network）考虑了特征通道之间的关系，在特征通道上加入了注意力机制。 SEnet通过学习的方式自动获取每个特征通道的重要程度，并且利用得到的重要程度来提升特征并抑制对当前任务不重要的特征。

ECANet主要对SENet模块进行了一些改进，通过对SENet中通道注意模块的分析，作者的经验表明避免降维对于学习通道注意力非常重要，适当的跨信道交互可以在显著降低模型复杂度的同时保持性能，提出了一种不降维的局部跨信道交互策略（ECA模块）和自适应选择一 ...

如SENet，CBAM使用sigmoid激活，而self-attention激活？这两个激活函数达到的效果和主要区别是什么呢？

注意力机制：主要是引入了注意力机制这个概念，比较有代表性的是SENet 通过对每一个特征层进行全局池化，再到全连接层中找特征之间的联系，最后得到权重划分。

我对vgg网络加入了注意力机制，加入注意力机制后还可以进行通道剪枝吗？

为什么SeNet中常用二维卷积代替全连接层？ 这是一个很好的问题，一般人都会忽视。 在这个过程中，作者使用了二维卷积来代替全连接层，是因为全连接层具有参数量大、计算复杂度高等问题。