深度学习

LeNet 5

LeNet-5是第一个成功的卷积神经网络,共有7层,不包含输入,每层都包含可训练参数(连接权重)。

AlexNet tf

AlexNet可以认为是增强版的LeNet5,共8层,其中前5层convolutional,后面3层是full-connected。

GooLeNet (Inception v2)

GoogLeNet用了很多相同的层,共22层,并将全连接层变为稀疏链接层。

Inception v3

Inception v3在GooLeNet的基础上,最重要的改进是分解(Factorization),将7x7分解成两个一维的卷积(1x7,7x1),3x3也是一样(1x3,3x1),这样的好处,既可以加速计算(多余的计算能力可以用来加深网络),又可以将1个conv拆成2个conv,使得网络深度进一步增加,增加了网络的非线性,还有值得注意的地方是网络输入从224x224变为了299x299,更加精细设计了35x35/17x17/8x8的模块。

Inception v4

1、在Inception v3的基础上发明了Inception v4,v4比v3更加复杂,复杂到不可思议 2、结合ResNet与GoogLeNet,发明了Inception-ResNet-v1、Inception-ResNet-v2,其中Inception-ResNet-v2效果非常好,但相比ResNet,Inception-ResNet-v2的复杂度非常惊人,跟Inception v4差不多 3、加入了Residual Connections以后,网络的训练速度加快了 4、在网络复杂度相近的情况下,Inception-ResNet-v2略优于Inception-v4 5、Residual Connections貌似只能加速网络收敛,真正提高网络精度的是“更大的网络规模”

Other DL

  • Residual Networks (ResNet)
  • SqueezeNet
  • Efficient Neural Network (Enet)
  • Fractalnet