[3Blue1Brown]:

https://www.youtube.com/watch?v=tIeHLnjs5U8

Pytorch應(yīng)用

來看一個(gè)簡單的示例，我們從torchvision加載一個(gè)預(yù)先訓(xùn)練好的resnet18模型，接著創(chuàng)建一個(gè)隨機(jī)數(shù)據(jù)tensor來表示一有3個(gè)通道、高度和寬度為64的圖像，其對應(yīng)的標(biāo)簽初始化為一些隨機(jī)值。

%matplotlib?inline

import?torch,?torchvision
model?=?torchvision.models.resnet18(pretrained=True)
data?=?torch.rand(1,?3,?64,?64)
labels?=?torch.rand(1,?1000)

接下來，我們將輸入數(shù)據(jù)向輸出方向傳播到模型的每一層中來預(yù)測輸出，這就是前向傳播。

prediction?=?model(data)?#?前向傳播

我們利用模型的預(yù)測輸出和對應(yīng)的權(quán)重來計(jì)算誤差，然后反向傳播誤差。完成計(jì)算后，您可以調(diào)用.backward()并自動計(jì)算所有梯度。此張量的梯度將累積到.grad屬性中。

loss?=?(prediction?-?labels).sum()
loss.backward()?#?反向傳播

接著，我們加載一個(gè)優(yōu)化器，在本例中，SGD的學(xué)習(xí)率為0.01，momentum 為0.9。我們在優(yōu)化器中注冊模型的所有參數(shù)。

optim?=?torch.optim.SGD(model.parameters(),?lr=1e-2,?momentum=0.9)

最后，我們調(diào)用.step()來執(zhí)行梯度下降，優(yōu)化器通過存儲在.grad中的梯度來調(diào)整每個(gè)參數(shù)。

optim.step()?#梯度下降

現(xiàn)在，你已經(jīng)具備了訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需所有條件。下面幾節(jié)詳細(xì)介紹了Autograd包的工作原理——可以跳過它們。

Autograd中的求導(dǎo)

先來看一下autograd是如何收集梯度的。我們創(chuàng)建兩個(gè)張量a和b并設(shè)置requires_grad = True以跟蹤它的計(jì)算。

import?torch

a?=?torch.tensor([2.,?3.],?requires_grad=True)
b?=?torch.tensor([6.,?4.],?requires_grad=True)

接著在a和b的基礎(chǔ)上創(chuàng)建張量Q

Q?=?3*a**3?-?b**2

假設(shè)a和b是一個(gè)神經(jīng)網(wǎng)絡(luò)的權(quán)重，Q是它的誤差，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，我們需要w.r.t參數(shù)的誤差梯度，即

當(dāng)我們調(diào)用Q的.backward()時(shí)，autograd計(jì)算這些梯度并把它們存儲在張量的 .grad屬性中。我們需要在Q.backward()中顯式傳遞gradient，gradient是一個(gè)與Q相同形狀的張量，它表示Q w.r.t本身的梯度，即

external_grad?=?torch.tensor([1.,?1.])
Q.backward(gradient=external_grad)

現(xiàn)在梯度都被存放在a.grad和b.grad中

#?檢查一下存儲的梯度是否正確
print(9*a**2?==?a.grad)
print(-2*b?==?b.grad)

可選閱讀----用autograd進(jìn)行向量計(jì)算

在數(shù)學(xué)上，如果你有一個(gè)向量值函數(shù)??? =??(??? ) ，則??? 相對于??? 的梯度是雅可比矩陣：

一般來說，torch.autograd是一個(gè)計(jì)算雅可比向量積的引擎。也就是說，給定任何向量??=(??1??2...????)??，計(jì)算乘積?????。如果??恰好是標(biāo)量函數(shù)的梯度??=??(??? )，即 然后根據(jù)鏈?zhǔn)椒▌t，雅可比向量乘積將是??相對于??? 的梯度

雅可比向量積的這種特性使得將外部梯度饋送到具有非標(biāo)量輸出的模型中非常方便。external_grad 代表.

圖計(jì)算

從概念上講，autograd在由函數(shù)對象組成的有向無環(huán)圖(DAG)中保存數(shù)據(jù)(tensor)和所有執(zhí)行的操作(以及產(chǎn)生的新tensor)的記錄，在這個(gè)DAG中，葉節(jié)點(diǎn)是輸入數(shù)據(jù)，根節(jié)點(diǎn)是輸出數(shù)據(jù)，通過從根節(jié)點(diǎn)到葉節(jié)點(diǎn)跟蹤這個(gè)圖，您可以使用鏈?zhǔn)椒▌t自動計(jì)算梯度。

在前向傳播中，autograd同時(shí)完成兩件事情：

• 運(yùn)行所請求的操作來計(jì)算結(jié)果tensor
• 保持DAG中操作的梯度

在反向傳播中，當(dāng)在DAG根節(jié)點(diǎn)上調(diào)用.backward()時(shí)，反向傳播啟動，autograd接下來完成：

• 計(jì)算每一個(gè).grad_fn的梯度
• 將它們累加到各自張量的.grad屬性中
• 利用鏈?zhǔn)椒▌t，一直傳播到葉節(jié)點(diǎn)

下面是DAG的可視化表示的示例。圖中，箭頭表示前向傳播的方向，節(jié)點(diǎn)表示向前傳遞中每個(gè)操作的向后函數(shù)。藍(lán)色標(biāo)記的葉節(jié)點(diǎn)代表葉張量 a和b

注意

DAG在PyTorch中是動態(tài)的。值得注意的是圖是重新開始創(chuàng)建的; 在調(diào)用每一個(gè)``.backward()``后，autograd開始填充一個(gè)新圖，這就是能夠在模型中使用控制流語句的原因。你可以根據(jù)需求在每次迭代時(shí)更改形狀、大小和操作。

torch.autograd追蹤所有requires_grad為True的張量的相關(guān)操作。對于不需要梯度的張量，將此屬性設(shè)置為False將其從梯度計(jì)算DAG中排除。操作的輸出張量將需要梯度，即使只有一個(gè)輸入張量requires_grad=True。

x?=?torch.rand(5,?5)
y?=?torch.rand(5,?5)
z?=?torch.rand((5,?5),?requires_grad=True)

a?=?x?+?y
print(f"Does?`a`?require?gradients??:?{a.requires_grad}")
b?=?x?+?z
print(f"Does?`b`?require?gradients?:?{b.requires_grad}")

在神經(jīng)網(wǎng)絡(luò)中，不計(jì)算梯度的參數(shù)通常稱為凍結(jié)參數(shù)。如果您事先知道您不需要這些參數(shù)的梯度，那么“凍結(jié)”部分模型是很有用的(這通過減少autograd計(jì)算帶來一些性能好處)。另外一個(gè)常見的用法是微調(diào)一個(gè)預(yù)訓(xùn)練好的網(wǎng)絡(luò)，在微調(diào)的過程中，我們凍結(jié)大部分模型——通常，只修改分類器來對新的<標(biāo)簽>做出預(yù)測,讓我們通過一個(gè)小示例來演示這一點(diǎn)。與前面一樣，我們加載一個(gè)預(yù)先訓(xùn)練好的resnet18模型，并凍結(jié)所有參數(shù)。

from?torch?import?nn,?optim

model?=?torchvision.models.resnet18(pretrained=True)

#?凍結(jié)網(wǎng)絡(luò)中所有的參數(shù)
for?param?in?model.parameters():
????param.requires_grad?=?False

假設(shè)我們想在一個(gè)有10個(gè)標(biāo)簽的新數(shù)據(jù)集上微調(diào)模型。在resnet中，分類器是最后一個(gè)線性層模型model.fc。我們可以簡單地用一個(gè)新的線性層(默認(rèn)未凍結(jié))代替它作為我們的分類器。

model.fc?=?nn.Linear(512,?10)

現(xiàn)在除了model.fc的參數(shù)外，模型的其他參數(shù)均被凍結(jié)，參與計(jì)算的參數(shù)是model.fc的權(quán)值和偏置。

#?只優(yōu)化分類器
optimizer?=?optim.SGD(model.fc.parameters(),?lr=1e-2,?momentum=0.9)

注意，盡管我們注冊了優(yōu)化器中所有參數(shù)，但唯一參與梯度計(jì)算(并因此在梯度下降中更新)的參數(shù)是分類器的權(quán)值和偏差。torch.no_grad()中也具有相同的功能。

拓展閱讀

• [就地修改操作以及多線程Autograd]：(https://pytorch.org/docs/stable/notes/autograd.html)
• [反向模式autodiff的示例]：(https://colab.research.google.com/drive/1VpeE6UvEPRz9HmsHh1KS0XxXjYu533EC)