长短期记忆(Long - Short-Term Memory, LSTM)网络是一种具有更复杂计算单元的循环神经网络，由于其超常的时间保存序列信息的能力，在各种序列建模任务中获得了较强的效果。到目前为止，我们所研究的惟一底层LSTM结构是线性链。

然而，自然语言表现出的句法特性可以自然地将单词组合成短语。我们引入Tree-LSTM，将lstm推广到树形网络拓扑中。TreeLSTMs在两个任务上优于所有现有系统和强LSTM基线:预测两个句子的语义相关性(SemEval 2014, Task 1)和情绪分类(Stanford emotion Treebank)。

大多数短语和句子的分布式表示模型——即使用重值向量表示意义的模型——属于三类:词袋模型、序列模型和树结构模型。在词袋模型中，短语和句子表示与语序无关;例如，它们可以通过平均组成词的表示来生成(Landauer和Dumais, 1997;Foltz et al.， 1998)。相比之下，序列模型将句子表示构建为符号序列的顺序敏感函数(Elman, 1990;Mikolov, 2012)。最后，树形结构模型根据句子上给定的句法结构，由其组成的子短语组成每个短语和句子表示(Goller和Kuchler, 1996;Socher et al.， 2011)。

顺序不敏感模型不足以完全捕获自然语言的语义，因为它们无法解释由于词序或句法结构的差异而导致的意义差异(例如，“猫爬树”vs“树爬猫”)。因此，我们转向顺序敏感的顺序或树结构模型。特别是，树状结构模型是一种具有语言吸引力的选择，因为它们与句子结构的句法解释有关。那么，一个自然的问题是:在句子表示方面，与顺序模型相比，我们在多大程度上(如果有的话)可以用树状结构模型做得更好?在本文中，我们致力于解决这个问题，方法是直接比较最近用于在几个NLP任务中实现最先进结果的一种顺序模型与它的树结构泛化。

由于其处理任意长度序列的能力，循环神经网络(RNNs)是序列建模任务的自然选择。最近，具有长短期记忆(LSTM)单元的rns (Hochreiter和Schmidhuber, 1997)由于其表示能力和捕获长期依赖性的有效性，重新成为流行的体系结构。

LSTM网络，我们在第二节中回顾过，已经成功地应用于各种序列建模和预测任务，特别是机器翻译(Bahdanau等人，2015;Sutskever等人，2014)、语音识别(Graves等人，2013)、图像说明生成(Vinyals等人，2014)和程序执行(Zaremba和Sutskever, 2014)。

在本文中，我们将标准的LSTM架构推广到树状网络拓扑中，并展示了其在表示句子意义方面优于顺序LSTM的优越性。标准LSTM由当前时间步的输入和LSTM单元在前一个时间步的隐藏状态组成其隐藏状态，而树状LSTM (Tree-LSTM)则由输入向量和任意多个子单元的隐藏状态组成其状态。标准LSTM可以被认为是Tree-LSTM的特例，其中每个内部节点只有一个子节点.
在我们的评估中，我们展示了Tree-LSTMs作为表示句子模型的经验优势。我们在两个任务上评估了Tree-LSTM架构:句子对的语义关联预测和电影评论句子的情感分类。

1.综述
循环神经网络(RNNs)能够处理任意长度的输入序列，通过递归应用过渡函数在隐状态向量h _t 上。在每个时间步t处，隐藏状态h _t 是网络在时间t处接收到的输入向量x _t 及其之前的隐藏状态h _t−1 的函数。例如，输入向量x _t 可以是文本主体中第t个单词的向量表示(Elman, 1990;Mikolov, 2012)。
隐藏状态h _t ∈R ^d 可以被解释为在时间t之前观察到的标记序列的d维分布式表示。
通常，RNN转换函数是一个映射变换，后面跟着一个点非线性函数，比如双曲正切函数:
不幸的是，具有这种形式过渡函数的rnn的一个问题是，在训练过程中，梯度向量的分量可以在长序列中呈指数增长或衰减(Hochreiter, 1998;Bengio等人，1994)。这个梯度爆炸或消失的问题使得RNN模型很难学习序列中的长距离相关性。
LSTM体系结构(Hochreiter和Schmidhuber, 1997)通过引入能够长时间保存状态的存储单元，解决了学习长期依赖性的问题。虽然已经描述了许多LSTM变体，但在这里我们描述Zaremba和Sutskever(2014)使用的版本。
我们将每个时间步t的LSTM单元定义为R ^d 中的向量集合:输入门i _t 、遗忘门f _t 、输出门o _t 、记忆单元c _t 和隐藏状态h _t 。门控向量i _t , f _t 和o _t 的分量在[0,1]中。我们称d为LSTM的内存维度。
LSTM跃迁方程如下:

其中x _t 是当前时间步长的输入，σ表示logistic s型函数，表示elementwise乘法。直观地说，遗忘门控制着先前记忆单元被遗忘的程度，输入门控制着每个单元被更新的多少，而输出门控制着内部记忆状态的曝光。因此，LSTM单元中的隐藏状态向量是单元内部存储单元状态的门控部分视图.由于每个向量元素的门控变量的值不同，模型可以学习在多个时间尺度上表示信息。
2.变体
基本LSTM架构的两种常用变体是双向LSTM和多层LSTM(也称为堆叠LSTM或深层LSTM)。
双向LSTM ：由两个并行运行的LSTM组成:一个在输入序列上，另一个在输入序列的反面。在每个时间步上，双向LSTM的隐藏状态是向前和向后隐藏状态的拼接。这个设置允许隐藏状态捕获过去和未来的信息。
多层LSTM ：在多层LSTM体系结构中，层l中的LSTM单元的隐藏状态在同一时间步长中被用作层l+1中的LSTM单元的输入(Graves等人，2013;Sutskever等，2014;Zaremba和Sutskever, 2014)。这里的想法是让较高层捕获输入序列的长期依赖关系。
这两种变体可以组合成多层双向LSTM (Graves等人，2013年)。

上一节中描述的LSTM体系结构的一个限制是，它们只允许严格顺序的信息传播。在这里，我们提出了对基本LSTM体系结构的两个自然扩展:Child-Sum Tree-LSTM和N-ary Tree-LSTM。这两种变体都允许更丰富的网络拓扑，其中每个LSTM单元能够合并来自多个子单元的信息。
与标准LSTM单元一样，每个Tree-LSTM单元(由j索引)包含输入和输出门i _j 和o _j ，一个记忆单元c _j 和隐藏状态h _j 。标准LSTM单元和Tree-LSTM单元之间的区别在于 门控向量和记忆单元更新依赖于所有与之相关子单元状态 。此外，TreeLSTM单元不是单一的遗忘门，而是为每个子结点k包含一个遗忘门f _jk 。这允许Tree-LSTM单元有选择地从子结点中获取信息。
例如，Tree-LSTM模型可以在情感分析任务中去保存语义信息更加丰富的子节点信息

图中：Tree-LSTM模型中的记忆单元c1和隐层状态h1是由两个子元素（下标2和3）组成。