小白學PyTorch | 動態圖與靜態圖的淺顯理解

章節目錄：

1 動態圖的初步推導

2 動態圖的葉子節點

3。 grad_fn

4 靜態圖

本章節簡單縷一縷PyTorch的動態圖機制與Tensorflow的靜態圖機制（最新版的TF也支援動態圖了似乎）。

1 動態圖的初步推導

計算圖是用來描述運算的

有向無環圖

計算圖有兩個主要元素：結點（Node）和邊（Edge）；

結點表示資料

，如向量、矩陣、張量；

邊表示運算

，如加減乘除卷積等；

上圖是用計算圖表示：

其中呢，，，。（a和b是類似於中間變數的那種感覺。）

Pytorch在計算的時候，就會把計算過程用上面那樣的動態圖儲存起來。現在我們計算一下y關於w的梯度：

（上面的計算中，w=1，x=2）

現在我們用Pytorch的程式碼來實現這個過程：

import torchw = torch。tensor（［1。］，requires_grad = True）x = torch。tensor（［2。］，requires_grad = True）a = w+xb = w+1y = a*by。backward（）print（w。grad）

得到的結果：

2 動態圖的葉子節點

這個圖中的葉子節點，是w和x，是整個計算圖的根基。之所以用葉子節點的概念，是為了

減少記憶體，在反向傳播結束之後，非葉子節點的梯度會被釋放掉

，我們依然用上面的例子解釋：

import torchw = torch。tensor（［1。］，requires_grad = True）x = torch。tensor（［2。］，requires_grad = True）a = w+xb = w+1y = a*by。backward（）print（w。is_leaf，x。is_leaf，a。is_leaf，b。is_leaf，y。is_leaf）print（w。grad，x。grad，a。grad，b。grad，y。grad）

執行結果是：

可以看到只有x和w是葉子節點，然後反向傳播計算完梯度後（。backward（）之後），只有葉子節點的梯度儲存下來了。

當然也可以透過。retain_grad（）來保留非任意節點的梯度值。

import torchw = torch。tensor（［1。］，requires_grad = True）x = torch。tensor（［2。］，requires_grad = True）a = w+xa。retain_grad（）b = w+1y = a*by。backward（）print（w。is_leaf，x。is_leaf，a。is_leaf，b。is_leaf，y。is_leaf）print（w。grad，x。grad，a。grad，b。grad，y。grad）

執行結果：

3. grad_fn

torch。tensor有一個屬性grad_fn，grad_fn的作用是記錄建立該張量時所用的函式，這個屬性反向傳播的時候會用到。例如在上面的例子中，y。grad_fn=MulBackward0，表示y是透過乘法得到的。所以求導的時候就是用乘法的求導法則。同樣的，a。grad=AddBackward0表示a是透過加法得到的，使用加法的求導法則。

import torchw = torch。tensor（［1。］，requires_grad = True）x = torch。tensor（［2。］，requires_grad = True）a = w+xa。retain_grad（）b = w+1y = a*by。backward（）print（y。grad_fn）print（a。grad_fn）print（w。grad_fn）

執行結果是：