来讲一个SENET的简单迁移。 Squeeze-and-Excitation Networks（简称 SENet）是 胡杰团队（WMW）提出的，利用SENet，一举取得 ImageNet 2017 竞赛 Image Classification 任务的冠军。

Aug 5, 2017 · 其中我们的SENet实质上是一个SE-ResNeXt-152（64x4d），在ResNeXt-152上嵌入SE模块，并做了一些其他修改和训练优化上的小技巧，这些我们会在后续公开的论文中进行详细介绍。可以看出 SENet获得了迄今为止在single-crop上最好的性能。

Nov 17, 2020 · SEnet（Squeeze-and-Excitation Network）考虑了特征通道之间的关系，在特征通道上加入了注意力机制。 SEnet通过学习的方式自动获取每个特征通道的重要程度，并且利用得到的重要程度来提升特征并抑制对当前任务不重要的特征。

ECANet主要对SENet模块进行了一些改进，通过对SENet中通道注意模块的分析，作者的经验表明避免降维对于学习通道注意力非常重要，适当的跨信道交互可以在显著降低模型复杂度的同时保持性能，提出了一种不降维的局部跨信道交互策略（ECA模块）和自适应选择一 ...

SENet最重大的一个创新就是引入了SE Block，该模块由压缩模块与激励模块两部分组成。 SE Block 如上图所示SE Block，经卷积后的特征图，与其自身再经空间卷积后获得的1*1*C特征图相乘，获得最终的特征图。

为什么SeNet中常用二维卷积代替全连接层？ 这是一个很好的问题，一般人都会忽视。 在这个过程中，作者使用了二维卷积来代替全连接层，是因为全连接层具有参数量大、计算复杂度高等问题。

知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、 …

如SENet，CBAM使用sigmoid激活，而self-attention激活？这两个激活函数达到的效果和主要区别是什么呢？

（2）其次，SENet的注意力得分使用的是双层的fully-connected 网络，且使用ReLU和sigmoid作为激活函数，两层的网络和激活函数使得分计算能力更强；1*1卷积虽然也相当于在通道上进行了fully-connected的计算，但是一次1*1卷积没有隐含层，没有激活函数，相当于线性求和，和SENet比起来能力不足；

Apr 8, 2024 · 独家原创 | 并行预测模型 | 基于TCN-SENet +BiGRU-GlobalAttention并行预测模型 环境：python 3.9 pytorch 1.8 及其以上都可以模型创新点还未发表，有毕业设计或者发小论文需求的同学必看，模块丰富，创新度高，性能优越！ 创新点：