I. 前言

系列文章：
II. seq2seq

seq2seq由两部分组成：Encoder和Decoder。seq2seq的输入是一个序列，输出也是一个序列，经常用于时间序列预测。关于seq2seq的具体原理可以参考： DL入门(3)：循环神经网络（RNN）。
III. 代码实现

3.1 数据处理

我们根据前24个时刻的负荷以及该时刻的环境变量来预测接下来12个时刻的负荷（步长pred_step_size可调）。
数据处理代码和前面的直接多输出预测一致。
3.2 模型搭建

模型搭建分为三个步骤：编码器、解码器以及seq2seq。
首先是Encoder：
class Encoder(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, batch_size):
        super().__init__()
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.num_directions = 1
        self.batch_size = batch_size
        self.lstm = nn.LSTM(self.input_size, self.hidden_size, self.num_layers, batch_first=True, bidirectional=False)
    def forward(self, input_seq):
        batch_size, seq_len = input_seq.shape[0], input_seq.shape[1]
        h_0 = torch.randn(self.num_directions * self.num_layers, batch_size, self.hidden_size).to(device)
        c_0 = torch.randn(self.num_directions * self.num_layers, batch_size, self.hidden_size).to(device)
        output, (h, c) = self.lstm(input_seq, (h_0, c_0))
        return h, c
一般来讲编码器采用的就是RNN网络，这里采用了LSTM将原始数据进行编码，然后将LSTM的最后的隐状态和单元状态返回。 
接着是解码器Decoder： 
class Decoder(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, output_size, batch_size):
        super().__init__()
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.output_size = output_size
        self.num_directions = 1
        self.batch_size = batch_size
        self.lstm = nn.LSTM(self.input_size, self.hidden_size, self.num_layers, batch_first=True, bidirectional=False)
        self.linear = nn.Linear(self.hidden_size, self.output_size)
    def forward(self, input_seq, h, c):
        # input_seq(batch_size, input_size)
        batch_size = input_seq.shape[0]
        input_seq = input_seq.view(batch_size, 1, self.input_size)
        output, (h, c) = self.lstm(input_seq, (h, c))
        # output(batch_size, seq_len, num * hidden_size)
        pred = self.linear(output)  # pred(batch_size, 1, output_size)
        pred = pred[:, -1, :]
        return pred, h, c
解码器同样也由LSTM组成，不过解码器的初始的隐状态和单元状态是编码器的输出。此外，解码器每次只输入seq_len中的一个。 
最后定义seq2seq： 
class Seq2Seq(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, output_size, batch_size):
        super().__init__()
        self.output_size = output_size
        self.Encoder = Encoder(input_size, hidden_size, num_layers, batch_size)
        self.Decoder = Decoder(input_size, hidden_size, num_layers, output_size, batch_size)
    def forward(self, input_seq):
        batch_size, seq_len, _ = input_seq.shape[0], input_seq.shape[1], input_seq.shape[2]
        h, c = self.Encoder(input_seq)
        outputs = torch.zeros(batch_size, seq_len, self.output_size).to(device)
        for t in range(seq_len):
            _input = input_seq[:, t, :]
            output, h, c = self.Decoder(_input, h, c)
            outputs[:, t, :] = output
        return outputs[:, -1, :]
seq2seq中，将24个时刻的的数据依次迭代输入解码器。 
3.3 模型训练/测试
 
模型训练和测试同前文一致。 
3.4 实验结果
 
前24个预测未来12个，每个模型训练50轮，MAPE为9.09%，还需要进一步完善。
  
IV. 源码及数据
 
后面将陆续公开~
                                    本专栏整理了《深度学习时间序列预测案例》，内包含了各种不同的基于深度学习模型的时间序列预测方法，例如LSTM、GRU、CNN（一维卷积、二维卷积）、LSTM-CNN、BiLSTM、Self-Attention、LSTM-Attention、Transformer等经典模型，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
 推荐使用pip install ./ ，因为您可以先激活虚拟环境，然后再在该环境中安装软件包，而不会影响其他环境。
使用之前，将seq2seq文件夹作为软件包安装或复制到项目目录。 看
Trainer支持，尽管内存有限，但可以实现更大（等效）的批处理大小。
支持光束搜索。
 修理trainer 。 保存培训检查点时， trainer不会保存最佳时期模型。 因此，如果继续训练，则完成后保存的最佳时期实际上不是整个训练阶段的最佳时期，而是检查点之后的最佳时期。 （不知道培训师是否应在每个检查点保存最好的模型，这会使检查点文件变大。）
 （不确定是否有必要。）
 from deepseries . models import Wave2Wave , RNN2RNN
from deepseries . train import Learner
from deepseries . data import Value , create_seq2seq_data_loader , forward_split
from deepseries . nn import RMSE , MSE
import deepseries . functional as F
import numpy as np
import torch
batch_size = 16
enc_len = 36
dec_len = 12
series_len = 1000
                                    时间序列预测
 该存储库实现了时间序列预测的常用方法，尤其是TensorFlow2中的深度学习方法。 如果您有更好的主意，欢迎您贡献力量，只需创建PR。 如有任何疑问，请随时提出问题。
正在进行的项目，我将继续进行改进，因此您可能希望观看/加注此仓库以进行重新访问。
安装所需的库
$ pip install -r requirements.txt
 如有必要，下载数据
$ bash ./data/download_passenger.sh
 训练模型如果需要，请设置custom_model_params （请参阅./deepts/models/
                                    LSTM单元计算
图中虽然有3个LSTM单元，但是实际上只有一LSTM单元A，这里计算过程是假设输入的时间序列是3，则首先输入样本x0x_0x0,LSTM初始状态c0c_0c0,h0h_0h0得到LSTM的状态c1c_1c1和h1h_1h1，此时在同一个LSTM单元输入x1x_1x1和c1c_1c1和h1h_1h1，得到c2c_2c2和h2h_2h2，在同一个LSTM单元输入...
                                    最近使用LSTM 神经网络进行预测的时候，突然发现对其输入输出不是很清晰，照着大佬们的改改还行，不能深入了解，有点难受呀。下面简单介绍一下。不同预测方式的数据格式要相对应改变LSTM对应数据要正确，其实有些地方对不上的话，也不影响代码正常运行，但是要科学对待。
这里要注意：上图中四个黄框，每一个都是普通的神经网络，激活函数就是框上面所标注的。
通过对比可以看出，RNN的一个cell中只有一个神经网络，而LSTM的一个cell中有4个神经网络，故一个LSTM cell的参数是一个RNN cell参数的四倍。
从上图也可以看出，原来的一个RNN cell只需要存储一个...
                                    可以使用Pytorch中的nn.Module类来构建Seq2Seq模型。首先，需要定义编码器和解码器。编码器将输入序列编码为隐藏状态，而解码器将隐藏状态解码为输出序列。注意力机制可以在解码器中实现。
具体实现方法如下:
```python
import torch
import torch.nn as nn
class Seq2Seq(nn.Module):
    def init(self, ...
                                    时间序列预测可以根据短期预测，长期预测，以及具体场景选用不同的方法，如ARMA、ARIMA、神经网络预测、SVM预测、灰色预测、模糊预测、组合预测法等等。所谓没有最好的模型，只有最适合的模型。至于哪一种模型能针对特定预测问题达到最高的精度，需要通过实验来证明。本文通过生成的随机数利用tensorflow的seq2seq模型进行单变量时间序列预测实验，目的是理解seq2seq的模型基础架构以及验证模...
链接：https://www.zhihu.com/question/41949741/answer/318771336
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
你说不理解LSTM输入输出问题，我感觉你其实应该是对Recurrent NNs的问题。之前有发现身边小伙伴确实不太容易理解Recurrent NNs（这里不区分LSTM，GRU）的topology结构，especially the input、output。To this end, I