所有配图来自下面这个网址

7. Modern Convolutional Neural Networks - Dive into Deep Learning 0.14.4 documentation

AlexNet

• 引领进入深层神经网络

• Dropout，ReLU的有效应用

  

NiN

• Network in Network
• 提出Global Average Pooling Pooling
• 1*1卷积的使用

ResNet

• 更好的训练深层网络
• 更容易学习identify mapping

VGG

• 模块化的卷积神经网路

Inception

• Intuition: 不知道哪个size的conv filter好，那就都做一遍，让网络决定使用哪个filter的信息。

DenseNet

• 用concatenation而不是addition

$$ \mathbf{x} \rightarrow\left[\mathbf{x}, f_{1}(\mathbf{x}), f_{2}\left(\left[\mathbf{x}, f_{1}(\mathbf{x})\right]\right), f_{3}\left(\left[\mathbf{x}, f_{1}(\mathbf{x}), f_{2}\left(\left[\mathbf{x}, f_{1}(\mathbf{x})\right]\right)\right]\right), \ldots\right] $$