本文共 1919 字，大约阅读时间需要 6 分钟。

梯度消失的问题

1.1什么是梯度消失

有人在CIFAR10这个数据集上面做了一个实验，是不是卷积层越多越好，结果发现并不是如此。在层数增加之后表现并没有有效的变好。这其实就是触发了梯度消失的问题。

因为每一层计算的梯度最终都会乘算到一起，这个数值在最后的时候就会越来越小，乘的层数多了，自然而然就会变得越来越小。底层的网络的梯度会变得特别小，很难得到有效的训练，所以整体的准确度不高。

1.2这个问题如何解决—深度残差网络

我们可以使用如下的情况来进行解决，将一个没有经过层处理的x直接传下去。

这样到底能达到一个怎样的结果呢？其实得到就是下面这个结果： 每次计算梯度的时候，因为我们加了一个x那么永远都有一个+1的存在，所以这样我们永远也不会出现梯度乘起来为0的情况了。

2.1实现

这里注意一点，想要两个可以加和，那么必须存在这样的一个情况就是，传递下来的x要和经过计算的y的（branch，channel，height，weight）是完全相同的才可以，所以我们一定要注意不能发生变形。

import numpyimport torchfrom torchvision import functional as Fclass ResidualBlocK(torch.nn.Module):    def __init__(self,input_channel):        super(ResidualBlocK,self).__init__()        #这里我们注意我们之前使用的是矩阵合并，合并的时候是除了合并的那一个维度之外所有维度都需要相等。        #这里我们是使用矩阵加和，所以两者的所有维度都必须是相等的，所以输入和输出的通道必须是相同的。        self.conv1=torch.nn.Conv2d(input_channel,input_channel,kernel_size=3,padding=1)        self.conv2=torch.nn.Conv2d(input_channel,input_channel,kernel_size=3,padding=1)        self.input_channel=input_channel    def forward(x):        y=F.relu(conv1(x))        y=conv2(y)        return F.relu(x)        #这里我们注意一个小的细节，relu的位置我们要带着x一起relu才可以。class Net(torch.nn.Module):    def __init__(self,channel):        super(Net,self).__init__()        self.conv1=torch.nn.Conv2d(channel,16,kernel_size=5)        self.conv2=torch.nn.Conv2d(16,32,kernel_size=5)        self.resi1=ResidualBlocK(16)        self.resi2=ResidualBlocK(32)        self.maxpool=torch.nn.MaxPool2d(2)        self.fullconnect=torch.nn.Linear(256,10)        #同样这个256也是算出来的，但是我们为了稳妥起见，还是自己构造一个数据集来新进行测试一下。逐步测试，每一次逐步的渐增。        #最好是使用增量式开发来进行开发。    def forward(x):        input_num=x.size(0)        x=self.maxpool(F.relu(self.conv1(x)))        x=self.resi1(x)        x=self.maxpool(F.relu(self.conv2(x)))        x=self.resi2(x)        x=x.view(input_num,-1)        x=self.fullconnect(x)

2.2更多的工作

大家可以参考：

论文：Identity Mappings in Deep Residual Networks 中文翻译：https://blog.csdn.net/cdknight_happy/article/details/78994071