目录1. 梯度 定义2.极小值3.常见函数的 梯度 3.激活函数(1) 定义(2) sigmoid函数(3) Tanh函数(4) ReLU4. loss及其 梯度 (1) MSE(2) cross entropy loss 1. 梯度 定义 函数的 梯度 是一个向量，这个向量的方向代表这个函数在当前点的增长的方向，向量的模表示这个向量在当前这个点增长的速率。 2.极小值 求最小值经常遇到两种情况比较麻烦，一种是局部极小值，另一种是鞍点。 3.常见函数的 梯度 比如给出一个函数y=xw+b，其中w,b都是自变量 对w的偏微分

文章目录1. requires_grad2. grad_fn，grad3. with torch.no_grad()4. torch.detach() 1. requires_grad 如果需要为张量计算所需的 梯度 ，那么我们就需要对张量设置requires_grad=True;张量创建的时候默认requires_grad=False 如果不设置requires_grad=True,后续计算 梯度 的时候就会报错 （1）requires_grad=False&默认设置 import torch value_list = [1, 2, 3, 4] x = torch.tensor(value_list, requires_grad=True, dtype=torch.float64) 判断能否求导： x.requires_gra

PyTorch 中的 梯度 下降是一种优化算法，用于更新神经 网络 的参数以最小化损失函数。 PyTorch 提供了以下几种 梯度 下降的变种： 1. 批量 梯度 下降（Batch Gradient Descent）：在每个训练迭代中，使用所有训练样本计算损失函数，并在整个数据集上更新模型参数。 2. 随机 梯度 下降（Stochastic Gradient Descent）：在每个训练迭代中，随机选择一个样本计算损失函数，并更新模型参数。由于每次只使用一个样本，SGD的计算效率较高，但收敛速度较慢。 3. 小批量 梯度 下降（Mini-batch Gradient Descent）：是批量 梯度 下降和随机 梯度 下降的折中方法。在每个训练迭代中，选择一个固定大小的小批量样本来计算损失函数并更新模型参数。小批量 梯度 下降通常比SGD更稳定，同时也比批量 梯度 下降更高效。 要在 PyTorch 中使用 梯度 下降，一般需要先定义一个优化器对象，例如使用torch.optim.SGD来创建一个随机 梯度 下降优化器。然后，在训练过程中，调用优化器的step()方法来执行参数更新。在每个迭代中，还需要计算损失函数关于参数的 梯度 ，并使用backward()方法进行 梯度 回传 。最后，使用optimizer.zero_grad()来清空 梯度 缓存。 下面是一个简单的例子，展示了如何在 PyTorch 中使用随机 梯度 下降： ```python import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的线性模型 model = nn.Linear(2, 1) # 定义损失函数 loss_fn = nn.MSELoss() # 定义随机 梯度 下降优化器 optimizer = optim.SGD(model.parameters(), lr=0.01) # 模拟输入数据和目标标签 inputs = torch.tensor([[1.0, 2.0], [3.0, 4.0]]) targets = torch.tensor([[3.0], [7.0]]) # 进行训练 for epoch in range(100): # 前向传播计算预测值 outputs = model(inputs) # 计算损失 loss = loss_fn(outputs, targets) # 梯度 清零 optimizer.zero_grad() # 反向传播计算 梯度 loss.backward() # 更新模型参数 optimizer.step() # 打印 训练后的模型参数 print(model.weight) print(model.bias) 在上述代码中，我们定义了一个简单的线性模型、均方误差损失函数和随机 梯度 下降优化器。然后，我们使用输入数据和目标标签进行训练，通过调用optimizer.step()来更新模型参数，最后 打印 出训练后的模型参数。