其實(shí)這個(gè)筆記起源于一個(gè)報(bào)錯(cuò)，報(bào)錯(cuò)內(nèi)容也很簡(jiǎn)單，希望傳入一個(gè)三維的tensor，但是得到了一個(gè)四維。

RuntimeError: only batches of spatial targets supported (3D tensors) but got targets of dimension: 4

查看代碼報(bào)錯(cuò)點(diǎn)，是出現(xiàn)在pytorch計(jì)算交叉熵?fù)p失的代碼。其實(shí)在自己手寫(xiě)寫(xiě)語(yǔ)義分割的代碼之前，我一直以為自己是對(duì)交叉熵?fù)p失完全了解的。但是實(shí)際上還是有一些些認(rèn)識(shí)不足，所以這里打算復(fù)習(xí)一下，將其重新梳理一下，才算是透徹的理解了，特地記錄下來(lái)。

1，交叉熵?fù)p失的定義理解

交叉熵是信息論中的一個(gè)概念，要想完全理解交叉熵的本質(zhì)，需要從基礎(chǔ)的概念學(xué)習(xí)。

(資料圖)

1.1 信息量

信息量與事件發(fā)生的概率有關(guān)，某件事情越不可能發(fā)生，我們獲取的信息量就越大，越可能發(fā)生，我們獲取的信息量就越小。

假設(shè)X是一個(gè)離散型隨機(jī)變量，其取值集合為x，概率分布函數(shù) p(x)=Pr(X=x)，則定義事件 X=x0的信息量為：

由于是概率，所以P(x0)的取值范圍是[0, 1]，繪圖如下：

從圖像可知，函數(shù)符合我們對(duì)信息量的直覺(jué)，概率越大，信息量越小。

1.2 熵

對(duì)于某個(gè)事件來(lái)說(shuō)，有多種可能性，每一種可能性都有一個(gè)概率 p(Xi)，這樣就可能計(jì)算出某一種可能性的信息量。因?yàn)槲覀兩厦娑x了信息量的定義，而熵就是表達(dá)所有信息量的期望，即：

而有一類比較特殊的分布問(wèn)題，就是0-1分布，對(duì)于這類問(wèn)題你，熵的計(jì)算方式可以簡(jiǎn)化為圖下算式：

1.3 相對(duì)熵（KL散度）

如果我們對(duì)同一個(gè)隨機(jī)變量X有兩個(gè)單獨(dú)的概率分布 P(x) 和 Q(x)（在機(jī)器學(xué)習(xí)中，P往往是用來(lái)表示樣本的真實(shí)分布，而Q是表示模型預(yù)測(cè)的分布。），我們可以使用KL散度來(lái)衡量這兩個(gè)分布的差異。計(jì)算公式如下：

n 為事件的所有可能性，Dkl的值越小，表示P和Q的分布越接近。

1.4 交叉熵

對(duì)上式變形可以得到：

等式的前一部分是p的熵，后一部分是交叉熵：

在機(jī)器學(xué)習(xí)中，我們需要評(píng)估label和predict之間的差距，使用KL散度剛剛好。由于KL散度的前一部分 -H(y)不變，故在優(yōu)化過(guò)程中，只需要關(guān)注交叉熵就可以了，所以一般在機(jī)器學(xué)習(xí)中直接用交叉熵做loss，評(píng)估模型。因?yàn)榻徊骒乜坍?huà)的是兩個(gè)概率分布的距離，也就是說(shuō)交叉熵值越小（相對(duì)熵的值越小），兩個(gè)概率分布越接近。

1.5 交叉熵在單標(biāo)簽分類問(wèn)題的使用

這里的單標(biāo)簽分類，就是深度學(xué)習(xí)最基本的分類問(wèn)題，每個(gè)圖像只有一個(gè)標(biāo)簽，只能是label1或者label2。

上圖是一個(gè)樣本loss的計(jì)算方式，n代表n種label，yi表示真實(shí)結(jié)果， yihat表示預(yù)測(cè)概率。如果是一個(gè)batch，則需要除以m（m為當(dāng)前batch的樣本數(shù)）。

1.6 交叉熵在多標(biāo)簽分類問(wèn)題的使用

這里的多標(biāo)簽分類是指，每一張圖像樣本可以有多個(gè)類別，多分類標(biāo)簽是n-hot，值得注意的是，這里的pred不再用softmax計(jì)算了，采用的是Sigmoid了。將每一個(gè)節(jié)點(diǎn)的輸出歸一化到0-1之間。所以pred的值的和也不再是1。比如我們的語(yǔ)義分割，每個(gè)像素的label都是獨(dú)立分布的，相互之間沒(méi)有任何影響，所以交叉熵在這里是單獨(dú)對(duì)每一個(gè)節(jié)點(diǎn)進(jìn)行計(jì)算，每一個(gè)節(jié)點(diǎn)只有兩種可能性，所以是一個(gè)二項(xiàng)分布。（上面有簡(jiǎn)化后交叉熵的公式）

每個(gè)樣本的loss即為 loss = loss1 + loss2 + ... lossn。

每一個(gè)batch的loss就是：

其中m為當(dāng)前batch的樣本量，n為類別數(shù)。

2，Pytorch中CrossEntropy的形式

語(yǔ)義分割的本質(zhì)是對(duì)像素的分類。因此語(yǔ)義分割也是使用這個(gè)損失函數(shù)。首先看代碼定義：

def cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100,                  reduce=None, reduction="mean"):    # type: (Tensor, Tensor, Optional[Tensor], Optional[bool], int, Optional[bool], str) -> Tensor    if size_average is not None or reduce is not None:        reduction = _Reduction.legacy_get_string(size_average, reduce)    return nll_loss(log_softmax(input, 1), target, weight, None, ignore_index, None, reduction)

從上面代碼可知：input和target是Tensor格式，并且先計(jì)算log_softmax，再計(jì)算nll_loss。（實(shí)際上softmax計(jì)算+ log計(jì)算 + nll_loss 計(jì)算== 直接使用CrossEntropyLoss計(jì)算）

2.1 通過(guò)softmax+log+nll_loss 計(jì)算CrossEntropyLoss

我們直接在語(yǔ)義分割中應(yīng)用：

下面softmax函數(shù)肯定輸出的是網(wǎng)絡(luò)的輸出預(yù)測(cè)圖像，假設(shè)維度為（1，2，2，2），從左到右dim依次為0，1，2，3，也就是說(shuō)類別數(shù)所在的維度表示dim=1應(yīng)在的維度上計(jì)算概率。所以dim=1

temp1 = F.softmax(pred_output,dim=1)print("temp1:",temp1)

log函數(shù)：就是對(duì)輸入矩陣的每個(gè)元素求對(duì)數(shù)，默認(rèn)底數(shù)為e，也就是In函數(shù)

temp3 = torch.log(temp1)print("temp3:",temp3)

nll_loss函數(shù)：這個(gè)函數(shù)的目的是把標(biāo)簽圖像的元素值，作為索引值，在上面選擇相應(yīng)的值求平均。

target = target.long()loss1 = F.nll_loss(temp3,target)print("loss1: ", loss1)

2.2 直接使用交叉熵?fù)p失計(jì)算

直接使用交叉熵?fù)p失計(jì)算：

loss2 = nn.CrossEntropyLoss()result2 = loss2(pred_output, target)print("result2: ", result2)

對(duì)比結(jié)果可以發(fā)現(xiàn) 通過(guò) 對(duì)CrossEntropyLoss函數(shù)分解并分步計(jì)算的結(jié)果，與直接使用CrossEntropyLoss函數(shù)計(jì)算的結(jié)果一致。

2.3 pytorch 和 tensorflow在損失函數(shù)計(jì)算方面的差異

pytorch和tensorflow在損失函數(shù)計(jì)算方面有細(xì)微的差別的，為啥對(duì)比pytorch和tensorflow的差異，因?yàn)橐粋€(gè)更符合人的想法，一個(gè)稍微有一些閹割的問(wèn)題，導(dǎo)致我們按照常理寫(xiě)代碼，會(huì)遇到問(wèn)題。

tensorflow的模型訓(xùn)練：

one-hot編碼：

通過(guò)這兩步驟，我們就可以計(jì)算標(biāo)簽和模型產(chǎn)生的預(yù)測(cè)結(jié)果之間的損失了。而在pytorch中，我們不需要對(duì)標(biāo)簽進(jìn)行one-hot編碼，且需要將通道這一維度壓縮。即標(biāo)簽中的值為對(duì)應(yīng)的類別數(shù)。

具體在代碼中，如果是一個(gè)類別，就特別要注意（因?yàn)槲揖褪菦](méi)注意，所以就有開(kāi)頭的錯(cuò)）：

masks_pred = model(images)if model.n_classes == 1:    loss = criterion(masks_pred.squeeze(1), true_masks.float())    loss += dice_loss(F.sigmoid(masks_pred.squeeze(1)), true_masks.float(), multiclass=False)else:    loss = criterion(masks_pred, true_masks)    loss += dice_loss(        F.softmax(masks_pred, dim=1).float(),        F.one_hot(true_masks, model.n_classes).permute(0, 3, 1, 2).float(),        multiclass=True    )

3，Pytorch中，nn與nn.functional的相同點(diǎn)和不同點(diǎn)3.1 相同點(diǎn)

首先兩者的功能相同，nn.xx與nn.functional.xx的實(shí)際功能是相同的，只是一個(gè)是包裝好的類，一個(gè)是可以直接調(diào)用的函數(shù)。

比如我們這里學(xué)習(xí)的Crossentropy函數(shù)：

在torch.nn中定義如下：

class CrossEntropyLoss(_WeightedLoss):    __constants__ = ["ignore_index", "reduction", "label_smoothing"]    ignore_index: int    label_smoothing: float    def __init__(self, weight: Optional[Tensor] = None, size_average=None, ignore_index: int = -100,                 reduce=None, reduction: str = "mean", label_smoothing: float = 0.0) -> None:        super(CrossEntropyLoss, self).__init__(weight, size_average, reduce, reduction)        self.ignore_index = ignore_index        self.label_smoothing = label_smoothing    def forward(self, input: Tensor, target: Tensor) -> Tensor:        return F.cross_entropy(input, target, weight=self.weight,                               ignore_index=self.ignore_index, reduction=self.reduction,                               label_smoothing=self.label_smoothing)

在torch.nn.functional中定義如下：

def cross_entropy(    input: Tensor,    target: Tensor,    weight: Optional[Tensor] = None,    size_average: Optional[bool] = None,    ignore_index: int = -100,    reduce: Optional[bool] = None,    reduction: str = "mean",    label_smoothing: float = 0.0,) -> Tensor:    if has_torch_function_variadic(input, target, weight):        return handle_torch_function(            cross_entropy,            (input, target, weight),            input,            target,            weight=weight,            size_average=size_average,            ignore_index=ignore_index,            reduce=reduce,            reduction=reduction,            label_smoothing=label_smoothing,        )    if size_average is not None or reduce is not None:        reduction = _Reduction.legacy_get_string(size_average, reduce)    return torch._C._nn.cross_entropy_loss(input, target, weight, _Reduction.get_enum(reduction), ignore_index, label_smoothing)

可以看到torch.nn下面的CrossEntropyLoss類在forward時(shí)調(diào)用了nn.functional下的cross_entropy函數(shù)，當(dāng)然最終的計(jì)算是通過(guò)C++編寫(xiě)的函數(shù)計(jì)算的。

3.2 不同點(diǎn)

不同點(diǎn)1：在使用nn.CrossEntropyLoss()之前，需要先實(shí)例化，再輸入?yún)?shù)，以函數(shù)調(diào)用的方式調(diào)用實(shí)例化的對(duì)象并傳入輸入數(shù)據(jù)：

import torch.nn as nnloss = torch.nn.CrossEntropyLoss()output = loss(x, y)

使用 F.cross_entropy()直接可以傳入?yún)?shù)和輸入數(shù)據(jù)，而且由于F.cross_entropy() 得到的是一個(gè)向量也就是對(duì)batch中每一個(gè)圖像都會(huì)得到對(duì)應(yīng)的交叉熵，所以計(jì)算出之后，會(huì)使用一個(gè)mean()函數(shù)，計(jì)算其總的交叉熵，再對(duì)其進(jìn)行優(yōu)化。

import torch.nn.functional as Floss = F.cross_entropy(input, target).mean()

不同點(diǎn)2：而且 nn.xxx 繼承于nn.Module，能夠很好的與nn.Sequential結(jié)合使用，而nn.functional.xxx 無(wú)法與nn.Sequential結(jié)合使用。舉個(gè)例子：

layer = nn.Sequential(            nn.Conv2d(3, 64, kernel_size=3, padding=1),            nn.BatchNorm2d(num_features=64),            nn.ReLU(),            nn.MaxPool2d(kernel_size=2),            nn.Dropout(0.2)  )

不同點(diǎn)3：nn.xxx 不需要自己定義和管理weight；而nn.functional.xxx需要自己定義weight，每次調(diào)用的時(shí)候都需要手動(dòng)傳入weight，不利于代碼復(fù)用。其實(shí)如果我們只保留了nn.functional下的函數(shù)的話，在訓(xùn)練或者使用時(shí)，我們就需要手動(dòng)去維護(hù)weight, bias, stride 這些中間量的值；而如果只保留nn下的類的話，其實(shí)就犧牲了一部分靈活性，因?yàn)樽鲆恍┖?jiǎn)單的計(jì)算都需要?jiǎng)?chuàng)建一個(gè)類，這也與PyTorch的風(fēng)格不符。

比如使用nn.xxx定義一個(gè)網(wǎng)絡(luò)，如下：

import torchimport torch.nn as nnimport torch.nn.functional as Fclass Net(nn.Module):    def __init__(self):        super(Net, self).__init__()        self.conv1 = nn.Conv2d(3, 6, 5)        self.pool = nn.MaxPool2d(2, 2)        self.conv2 = nn.Conv2d(6, 16, 5)        self.fc1 = nn.Linear(16 * 5 * 5, 120)        self.fc2 = nn.Linear(120, 84)        self.fc3 = nn.Linear(84, 10)    def forward(self, x):        x = self.pool(F.relu(self.conv1(x)))        x = self.pool(F.relu(self.conv2(x)))        x = x.view(-1, 16 * 5 * 5)        x = F.relu(self.fc1(x))        x = F.relu(self.fc2(x))        x = self.fc3(x)        return x

以一個(gè)最簡(jiǎn)單的五層網(wǎng)絡(luò)為例。需要維持狀態(tài)的，主要是兩個(gè)卷積和三個(gè)線性變換，所以在構(gòu)造Module是，定義了兩個(gè)Conv2d和三個(gè)nn.Linear對(duì)象，而在計(jì)算時(shí)，relu之類不需要保存狀態(tài)的可以直接使用。

參考地址（這個(gè)只是個(gè)人筆記，不做商業(yè)）：

https://blog.csdn.net/tsyccnh/article/details/79163834

https://www.zhihu.com/question/66782101

https://blog.csdn.net/weixin_39190382/article/details/114433884）

https://blog.csdn.net/Fcc_bd_stars/article/details/105158215

標(biāo)簽：