基于注意力机制
attention
结合门控循环单元
GRU
时间序列预测，
GRU
-
Attention
时间序列预测，单输入单输出模型。
运行环境MATLAB版本为2020b及其以上。
评价指标包括:R2、MAE、MSE、RMSE等，代码质量极高，方便学习和替换数据。
class
Attention
(Layer):
def __init__(self, step_dim,
W_regularizer=None, b_regularizer=None,
W_constraint=None, b_constraint=None,
bias=True, **kwargs):
self.suppor...
书接
LSTM
的介绍（
LSTM
的总结），这一节来介绍
GRU
。
GRU
（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和
LSTM
（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。
从
LSTM
的介绍可以知道，一个时间 t 要计算的很多，三个门/权重向量 z，完了还要计算两种信息：全局的和局部的，计算量非常大。基于此，诞生了
GRU
，它跟
LSTM
有相当的...
文章目录han_
attention
（双向
GRU
+
attention
）一、文件目录二、语料集下载地址（本文选择AG）三、数据处理(AG_Dataset.py)四、模型（
Attention
_NMT_Model.py）五、训练和测试实验结果
han_
attention
（双向
GRU
+
attention
）
词级别的注意力机制：
句子编码：
句子级别的注意力机制：
一、文件目录
二、语料集下载地址（本文选择AG）
https://wit3.fbk.eu/2014-01
三、数据处理(AG_Dat
文章目录一、前言二、
LSTM
的是什么三、准备工作1.设置GPU2.设置相关参数3.加载数据四、数据预处理1.归一化2.时间戳函数五、构建模型六、激活模型七、训练模型八、结果可视化1.绘制loss图2.预测3.评估
今天是第10天，我们将使用
LSTM
完成
股票
开盘价格的预测，最后的R2可达到0.74，相对传统的RNN的0.72提高了两个百分点。
我的环境：
语言环境：Python3.6.5
编译器：jupyter notebook
深度学习环境：TensorFlow2.4.1
来自专栏：【深度学习
#构建 RNN/
LSTM
/
GRU
模型 # 构建模型 model2 = Sequential() # 添加 RNN/
LSTM
/
GRU
层 model2.add(
LSTM
(units=512, return_sequences=True, input_shape=(train_X.shape[1], 1))) model2.add(Dropout(0.2)) model2.add(
LSTM
(units=512, return_sequences=True)) model2.add(Dropout(0.2)) model2.add(
LSTM
(units=512)) model2.add(Dropout(0.2)) #在模型中添加
Attention
层 model2.add(
Attention
()) # 添加全连接层 model2.add(Dense(units=1)) # 编译模型 model2.compile(optimizer='adam', loss='mean_squared_error')中
attention
层应该输入什么
在使用
Attention
层时，需要将
Attention
层添加到模型中所有
LSTM
层的输出之后，因此
Attention
层应该输入
LSTM
层的输出。在你的模型中，第一个
LSTM
层的输出是作为
Attention
层的输入，因此你需要将 `return_sequences=True` 设置为 True，以便第一个
LSTM
层返回每个时间步长的输出。然后，你可以在第二个
LSTM
层之前添加 Dropout 层以防止过拟合。在添加完
LSTM
层和 Dropout 层后，你可以将第二个
LSTM
层的输出作为
Attention
层的输入，并在该层之后添加 Dropout 层。最后，你可以添加一个全连接层来输出预测结果，并编译模型以进行训练。
