BCELoss和BCEWithLogitsLoss怎么在Pytorch中使用?相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。
BCELoss
在图片多标签分类时,如果3张图片分3类,会输出一个3*3的矩阵。
先用Sigmoid给这些值都搞到0~1之间:
假设Target是:
下面我们用BCELoss来验证一下Loss是不是0.7194!
emmm应该是我上面每次都保留4位小数,算到最后误差越来越大差了0.0001。不过也很厉害啦哈哈哈哈哈!
BCEWithLogitsLoss
BCEWithLogitsLoss就是把Sigmoid-BCELoss合成一步。我们直接用刚刚的input验证一下是不是0.7193:
嘻嘻,我可真是太厉害啦!
补充:Pytorch中BCELoss,BCEWithLogitsLoss和CrossEntropyLoss的区别
BCEWithLogitsLoss=Sigmoid+BCELoss
当网络最后一层使用nn.Sigmoid时,就用BCELoss,当网络最后一层不使用nn.Sigmoid时,就用BCEWithLogitsLoss。
(BCELoss)BCEWithLogitsLoss
用于单标签二分类或者多标签二分类,输出和目标的维度是(batch,C),batch是样本数量,C是类别数量,对于每一个batch的C个值,对每个值求sigmoid到0-1之间,所以每个batch的C个值之间是没有关系的,相互独立的,所以之和不一定为1。
每个C值代表属于一类标签的概率。如果是单标签二分类,那输出和目标的维度是(batch,1)即可。
CrossEntropyLoss用于多类别分类
输出和目标的维度是(batch,C),batch是样本数量,C是类别数量,每一个C之间是互斥的,相互关联的,对于每一个batch的C个值,一起求每个C的softmax,所以每个batch的所有C个值之和是1,哪个值大,代表其属于哪一类。如果用于二分类,那输出和目标的维度是(batch,2)。
补充:Pytorch踩坑记之交叉熵(nn.CrossEntropy,nn.NLLLoss,nn.BCELoss的区别和使用)
在Pytorch中的交叉熵函数的血泪史要从nn.CrossEntropyLoss()这个损失函数开始讲起。
从表面意义上看,这个函数好像是普通的交叉熵函数,但是如果你看过一些Pytorch的资料,会告诉你这个函数其实是softmax()和交叉熵的结合体。
然而如果去官方看这个函数的定义你会发现是这样子的:
哇,竟然是nn.LogSoftmax()和nn.NLLLoss()的结合体,这俩都是什么玩意儿啊。再看看你会发现甚至还有一个损失叫nn.Softmax()以及一个叫nn.nn.BCELoss()。我们来探究下这几个损失到底有何种关系。
nn.Softmax和nn.LogSoftmax
首先nn.Softmax()官网的定义是这样的:
嗯...就是我们认识的那个softmax。那nn.LogSoftmax()的定义也很直观了:
果不其然就是Softmax取了个log。可以写个代码测试一下:
import torch import torch.nn  as 神经网络 , 时间=a torch.Tensor ([1, 2, 3]) #定义Softmax 时间=softmax nn.Softmax () 时间=sm_a softmax=nn.Softmax () 打印(sm) #输出:张量([0.0900,,0.2447,0.6652)) , #定义LogSoftmax 时间=logsoftmax nn.LogSoftmax () 时间=lsm_a logsoftmax (a) 打印(lsm_a) #输出张量([-2.4076,,-1.4076,-0.4076)),其中ln (0.0900)=-2.4076
nn.NLLLoss
上面说过nn.CrossEntropy()是nn.LogSoftmax()和nn.NLLLoss的结合,神经网络。NLLLoss官网给的定义是这样的: