当训练时loss下降效果不理想或自定义损失函数时，需要检查反向回传梯度是否正常，网络权重是否在更新。

打印网络中的层的梯度

参考 pytorch 打印网络回传梯度 ，在 loss.backward() 后，取出网络各层属性，并分析权重及其梯度信息。

for name, weight in net.named_parameters():
	# print("weight:", weight) # 打印权重，看是否在变化
	if weight.requires_grad:
		# print("weight:", weight.grad) # 打印梯度，看是否丢失
		# 直接打印梯度会出现太多输出，可以选择打印梯度的均值、极值，但如果梯度为None会报错
		print("weight.grad:", weight.grad.mean(), weight.grad.min(), weight.grad.max())
打印参数的梯度
 
  对于自己设计的网络或损失函数，当设计有误时可能网络中各层都没有梯度，这时需要通过分析输入输出的中间变量Tensor来分析梯度是在哪个环节消失的。参考pytorch中的钩子（Hook）有何作用？李斌的回答，如果在训练中打印中间变量的梯度时会得到None，这是因为
 
 
这个问题在PyTorch的论坛上有人提问过，开发者说是因为当初开发时设计的是，对于中间变量，一旦它们完成了自身反传的使命，就会被释放掉。
 
  因此需要添加hook来打印中间变量的梯度：
 
# 方法一
def print_grad(grad):
    print(grad)
def tran():
	...
	# 对于中间变量 y
	y.register_hook(print_grad)
	loss.backward()
	...
# 方法二，适用于Python3
	y.register_hook(lambda grad: print(grad)) 
				
反向传播是利用解析的方式推导梯度的计算式，但由于NN网络复杂，容易推导错误；数值微分求梯度虽然更耗时，但结果一定基本是正确的；所以我们把两种梯度的值作差观察差距，验证BP计算的正确性。
# 2层网络，一个隐层，结构：784-50-10
# 梯度确认,比较数值梯度计算值和反向传播梯度计算值的差
# 以验证反向传播法梯度计算的正确性
from dataset.mnist import load_mn...
				
在编写好自己的 autograd function 后，可以利用gradcheck中提供的gradcheck和gradgradcheck接口，对数值算得的梯度和求导算得的梯度进行比较，以检查backward是否编写正确。 即用它可以check自己写的反向传播函数是否正确
这个函数可以自己计算通过数值法求得的梯度，然后和我们写的backward的结果比较
  在下面的例子中，我们自己实现了Sigmoid函数，并利用gradcheck来检查backward的编写是否正确。
impo...