pytorch系列12 --pytorch自定义损失函数custom loss function_pytorch 自定义代价函数_墨氲的博客

简答的说就是， nn.Module是一个包装好的类，具体定义了一个网络层，可以维护状态和存储参数信息；而nn.Functional仅仅提供了一个计算，不会维护状态信息和存储参数。

对于activation函数，比如（relu， sigmoid等），dropout，pooling等没有训练参数，可以使用functional模块。

2. 自定义损失函数

前面讲过，只要Tensor算数操作（+， -，*， %，求导等）中，有一个Tesor
的 resquire_grad=True ,则该操作得到的Tensor具有反向传播，自动求导的功能。

因而只要自己实现的loss使用tensor提供的math operation就可以。

所以第一种自定义loss函数的方法就是使用tensor的math operation实现loss定义

1. 继承于 `nn.Module`

在forward中实现loss定义，注意：

所有的数学操作使用tensor提供的math operation

返回的tensor是0-dim的scalar

有可能会用到nn.functional中的一些操作 https://www.zhihu.com/question/66988664

自定义MSEloss实现：

class My_loss(nn.Module):
    def __init__(self):
        super().__init__()
    def forward(self, x, y):
        return torch.mean(torch.pow((x - y), 2))
criterion = My_loss()
loss = criterion(outputs, targets)
2. 自定义函数
 
看一自定义类中，其实最终调用还是forward实现，同时nn.Module还要维护一些其他变量和状态。不如直接自定义loss函数实现： 
# 2. 直接定义函数 ， 不需要维护参数，梯度等信息
# 注意所有的数学操作需要使用tensor完成。
def my_mse_loss(x, y):
    return torch.mean(torch.pow((x - y), 2))
3. 继承于nn.autograd.function
 
要自己实现backward和forward函数，可能一些算法nn.functional中没有提供，要使用numpy或scipy中的方法实现。 
这个要自己定义实现前向传播和反向传播的计算过程
 几篇博客：
 https://oldpan.me/archives/pytorch-nn-module-functional-backward 
https://blog.csdn.net/tsq292978891/article/details/79364140 
最后附上前两种自定义方法的测试代码： 
# -*- coding: utf-8 -*-
Created on Thu Nov 15 11:04:25 2018
@author: duans
import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt
#自定义损失函数
# 1. 继承nn.Mdule
class My_loss(nn.Module):
    def __init__(self):
        super().__init__()
    def forward(self, x, y):
        return torch.mean(torch.pow((x - y), 2))
# 2. 直接定义函数 ， 不需要维护参数，梯度等信息
# 注意所有的数学操作需要使用tensor完成。
def my_mse_loss(x, y):
    return torch.mean(torch.pow((x - y), 2))
# 3, 如果使用 numpy/scipy的操作  可能使用nn.autograd.function来计算了
# 要实现forward和backward函数
# Hyper-parameters 定义迭代次数， 学习率以及模型形状的超参数
input_size = 1
output_size = 1
num_epochs = 60
learning_rate = 0.001
# Toy dataset  1. 准备数据集
x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168], 
                    [9.779], [6.182], [7.59], [2.167], [7.042], 
                    [10.791], [5.313], [7.997], [3.1]], dtype=np.float32)
y_train = np.array([[1.7], [2.76], [2.09], [3.19], [1.694], [1.573], 
                    [3.366], [2.596], [2.53], [1.221], [2.827], 
                    [3.465], [1.65], [2.904], [1.3]], dtype=np.float32)
# Linear regression model  2. 定义网络结构 y=w*x+b 其中w的size [1,1], b的size[1,]
model = nn.Linear(input_size, output_size)
# Loss and optimizer 3.定义损失函数， 使用的是最小平方误差函数
# criterion = nn.MSELoss()
# 自定义函数1
criterion = My_loss()
# 4.定义迭代优化算法， 使用的是随机梯度下降算法
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)  
loss_dict = []
# Train the model 5. 迭代训练
for epoch in range(num_epochs):
    # Convert numpy arrays to torch tensors  5.1 准备tensor的训练数据和标签
    inputs = torch.from_numpy(x_train)
    targets = torch.from_numpy(y_train)
    # Forward pass  5.2 前向传播计算网络结构的输出结果
    outputs = model(inputs)
    # 5.3 计算损失函数
    # loss = criterion(outputs, targets)
    # 1. 自定义函数1
    # loss = criterion(outputs, targets)
    # 2. 自定义函数
    loss = my_mse_loss(outputs, targets)
    # Backward and optimize 5.4 反向传播更新参数
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    # 可选 5.5 打印训练信息和保存loss
    loss_dict.append(loss.item())
    if (epoch+1) % 5 == 0:
        print ('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, loss.item()))
# Plot the graph 画出原y与x的曲线与网络结构拟合后的曲线
predicted = model(torch.from_numpy(x_train)).detach().numpy()
plt.plot(x_train, y_train, 'ro', label='Original data')
plt.plot(x_train, predicted, label='Fitted line')
plt.legend()
plt.show()
# 画loss在迭代过程中的变化情况
plt.plot(loss_dict, label='loss for every epoch')
plt.legend()
plt.show()
                    本文主要内容：nn.Module 和 nn.Functional 区别和联系自定义损失函数1.  关于nn.Module与nn.Functional的区别：https://discuss.pytorch.org/t/whats-the-difference-between-torch-nn-functional-and-torch-nn/681https://www.zhihu.co...
				目录1、自定义损失函数1.1 nn.Module和nn.Functional的区别与联系1.1.1 二者的相似之处1.1.2 二者的差别之处1.1.2.1 调用方式1.1.2.2 与nn.Sequential的结合运用1.1.2.3 参数的管理1.1.3 小结1.2 定义损失函数1.2.1 方法1：自定义类--继承nn.Module1.2.2 方法2：自定义函数1.2.3 方法3：扩展nn.autograd.function1.3 具体代码算例1.4 总结
1、自定义损失函数
首先，回顾一下上一次的
				自定义loss的方法有很多，但是在博主查资料的时候发现有挺多写法会有问题，靠谱一点的方法是把loss作为一个pytorch的模块，比如：
class CustomLoss(nn.Module): # 注意继承 nn.Module
    def __init__(self):
        super(CustomLoss, self).__init__()
    def forward(self, x, y):
        # .....这里写x与y的处理逻辑，即loss的计算方法
import torch.nn as nn
import torch.nn.functional as func
class TripletLossFunc(nn.Module):
    def __init__(self, t1, t2, beta):
        super(TripletLossFunc, self).__init__()
自定义损失函数与自定义网络类似。需要继承nn.Module类，然后重写forward方法即可
# 自定义损失函数，交叉熵损失函数
class MyEntropyLoss(nn.Module):
    def forward(self,output,target):
        batch_size_ = output.size()[0] # 获得batch_size
        num_class = output[0].size()[0] #获得类别数量
在做神经网络的时候，一般情况我们可以直接调用pytorch提供的函数损失函数，例如：
class torch.nn.MSELoss(size_average=True)
调用方式：
creterion=torch.nn.MSELoss()
loss=creterion(x,y)
				pytorch 损失函数详解及自定义方法
损失函数是机器学习与深度学习解决问题中非常重要的一部分，可以说，损失函数给出了问题的定义，也就是需要优化的目标：怎么样可以认为这个模型是否够好、怎样可以认为当前训练是否有效等。
pytorch框架上手十分方便，也为我们定义了很多常用的损失函数。当然，面对特殊的应用场景或实际问题，往往也需要自行定义损失函数。
本文首先介绍如何自定义损失函数，再选择一些常用或...
				pytorch系列 -- 9 pytorch nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization
					58227
                    Dream_9491: 
                    _CLSIDFromProgID(text_type(progid), byref(inst))
  File "_ctypes/callproc.c", line 948, in GetResult
OSError: [WinError -2147221005] 无效的类字符串
然后巴拉巴拉一堆东西-  -那个库都安装好了
                markdown math 数学公式语法
                    FUXI_Willard: 
                    你好，没记错的话是\partial

1. 关于nn.Module与nn.Functional的区别：

2. 自定义损失函数

1. 继承于 nn.Module

2. 自定义函数

3. 继承于nn.autograd.function

1. 继承于 `nn.Module`