动手学深度学习 | 自动求导 | 05

目录自动求导自动求导实现 QA

自动求导

链式法则，如果扩展到向量，最最重要的还是看形状。

<x,w>这是内积的写法。

自动求导涉及到一个计算图的概念，虽然Pytorch不用要求大家理解计算图，但是理解了对使用TensorFlow等都是有好处的。

计算图其实本质上就和刚刚求导链式法则的过程。

显示构造，就是先构造好这个公式，然后再带入数值计算，一般数学上都是属于显示构造。

正向累积就是正常计算，反向传播是从结果不停的反向进行求导。

反向从根节点向下扫，可以保证每个节点只扫一次；

正向从叶节点向上扫，会导致上层节点可能需要被重复扫多次（正向中子节点比父节点先计算，因此也无法像反向那样把本节点的计算结果传给每一个子节点）

自动求导实现

操作总结

import torch

x = torch.arange(4.)
# 等价于 x = torch.arange(4.,requires_grad=True)
x.requires_grad_(True) # 需要存储中间结果
print(x.grad) # 查看x的梯度，默认为None

y = 2*torch.dot(x,x) # 点称
y # tensor(28., grad_fn=<MulBackward0>)

y.backward() # 对y进行反向传播
x.grad # 查看BP得到的梯度

# y=2x^2 y'=2x,可以判断BP得到的梯度是否是对的
4*x == x.grad

x.grad_zero_() # Pytorch的梯度会累积，这里是将0写入梯度中
y = x.sum() # sum() 相当于点乘一个全为1的向量 
y.backward()
x.grad

x.grad_zero_()
y = x*x
# x*x == sum(y·y)
y.sum().backward()
x.grad


# 将计算移动到计算图之外
x.grad_zero_()
y = x*x
u = y.detach()
z = u*x

z.sum().backward()
x.grad,x.gard==u

# 及时构建函数的计算图需要通过Python控制流，我们仍然可以计算得到变量的梯度
def f(a):
    b = a * 2
    while b.norm() < 1000:
        b = b * 2
    if b.sum() > 0:
        c = b
    else:
        c = 100 * b
    return c

# size=() 标量
# a是一个随机变量，并且需要记录梯度
a = torch.randn(size=(), requires_grad=True)
d = f(a)
d.backward()

# f()可以理解成是一个计算图的流程，最终得到d
# 因为是标量，所以可以用斜率来验证得到的梯度是否是正确的
a.grad == d / a