损失函数基本概念

损失函数是用来评估模型预测值与真实值的不一致程度，它是一个值为非负实数的函数。损失函数越小，模型的鲁棒性就越好，就表示算法越接近意义上的最优。我们训练模型的过程，就是通过不断的迭代计算，使用梯度下降等优化算法不断调整参数，使得损失函数越来越小。PyTorch使用mini-batch来进行计算，因此PyTorch中损失函数计算出来的结果已经对mini-batch取了平均。

常见损失函数及基本用法

PyTorch中损失函数可以通过torch.nn获取，基本用法如下：

# 每个损失函数的构造函数都会有自己的参数  criterion = LossCriterion() loss = criterion(x, y) 

PyTorch内置的常用的损失函数主要有如下几种。

• nn.L1Loss

L1范数损失，计算的是输入x和目标y之间差的绝对值，其中，x和y的维度必须一致，得到的loss维度也是对应一样的。

nn.L1Loss的基本用法如下。

• nn.NLLLoss

负对数似然损失函数，通常用于训练指定类别数的分类问题。

nn.NLLLoss的基本用法如下。

NLLLoss中如果传递了weights参数，会对损失函数进行加权，公式就变成了如下形式。

• nn.MSELoss

均方损失函数，计算的是输入x和目标y之间的均方差。

nn.MSELoss的基本用法如下。

• nn.CrossEntropyLoss

多分类用的交叉熵损失函数，LogSoftMax和NLLLoss集成到一个类中，会调用nn.NLLLoss函数，我们可以理解为CrossEntropyLoss( )=log_softmax( )+NLLLoss( )。

nn.CrossEntropyLoss的基本用法如下。

因为使用了NLLLoss，因此CrossEntropyLoss也可以传入weights参数，此时公式就变成了如下形式。

一般多分类的情况下就会选择此函数作为损失函数。

• nn.BCELoss

输入x和目标y之间的二进制交叉熵，通常用于二分类任务，测试重构的误差。

nn.BCELoss的基本用法如下。

与NLLLoss类似，BCELoss也可以添加权重参数weights，此时公式变成如下形式。

注意，使用时需要在该层前面加上一个Sigmoid( )函数。