论文作者：Yongming Rao, Wenliang Zhao, Zheng Zhu Jiwen Lu, Jie Zhou。论文原文点此URL。
本文提出概念简洁、计算性能优异的 Global Filter Network (GFNet)，该模型主要结构框架基于 Vision Transformer ，在频域中学习空间长距离（long-term spatial dependencies）关系，其具有较小的对数线性复杂性。
其主要创新是使用 Global Filter Layer 替换了 Vision Transformer 中的 self-attention 层中的每一个子层。该模型取得了可喜的高精度，同时仅具有 CNN 的复杂度。
ResNet 算得上是超经典的backbone了，其网络提出了残差结构，可有效缓解随网络层数的加深而导致的梯度消失和梯度爆炸现象。结构和设计在这里有讨论。这里主要尝试一下复现。ResNet的常见形式有：
| Name | Top-1 error | Top-5 error |
|---|---|---|
| ResNet-18 | 30.43 | 10.76 |
| ResNet-34 | 26.73 | 8.74 |
| ResNet-50 | 24.01 | 7.02 |
| ResNet-101 | 22.44 | 6.21 |
| ResNet-152 | 22.16 | 6.16 |
除了上述常见形式，也有将channel数减半的half形式，以及使用膨胀卷积的形式等。
偶尔忘记的时候再来看看怎么实现（）
from paddle.nn import *
class SELayer(Layer):
def __init__(self, channel, reduction=16):
super(SELayer, self).__init__()
self.avg_pool = AdaptiveAvgPool2D(output_size=[None, None])
self.fc = Sequential(
Linear(channel, channel // reduction, bias_attr=False),
ReLU(),
Linear(channel // reduction, channel, bias_attr=False),
Sigmoid()
)
def forward(self, x):
b, c, _, _ = x.size()
y = self.avg_pool(x).view(b, c)
y = self.fc(y).view(b, c, 1, 1)
return x * y.expand_as(x)