Max Time-Delay Neural Networks
Time-Delay Neural Networks的解释见：http://en.wikipedia.org/wiki/Time_delay_neural_network
在参考文献中的两篇文章都使用以上述TDNN为基础Max-TDNN开始进行sentence modeling。
在文献[2]中sentence modeling最开始对输入层进行基本操作是卷积运算(convolution)，他们的one-dimensional convolution分为两种 narrow类型和wide类型。
卷积公式为。上述公式中m取5。简单看就是下面的5个连续的与对应的权重进行操作得到上面的一个点。
左侧的narrow和右侧的wide的区别
1）公式上看是取值不同，narrow中为[m,s]，wide为[1,s+m-1]。（s为输入层的长度）
2）从图像上看就是右侧需要对下层的点进行补0(左侧和
右侧)，使得上面多出的点仍可以进行卷积操作。
TDNN将输入s看成是一个带有时间维度的序列。在phoneme recognition中，输入序列中每个单位不是单值（如上图），而是一个d维向量。其进行卷积操作的m也需要进行改变，从上述的一个向量扩展为一个d*m的矩阵。这样一来，上述的图也需要进行扩展，可以看做在上图的基础上进行纵向扩展，每一个点变为一个d维度的向量（该处的点是向量在平面上的一个投影）。同样的，输出的序列c也要扩展为矩阵。
Max-TDNN是对上述TDNN的进一步约束。上图中序列c长度是随着输入序列s的长度变化而变化，而在一般神经网络中输入长度是需要固定的（超参数）。在TDNN中，输出的序列c矩阵列数变化，而行数是固定，为d。取每一行最大值形成一个新的固定d维度的向量。
简单总结：Max-TDNN让变长的自然语言句子适应普通的神经网络的定长输入。
参考文章：
[1] A Unified Architecture for Natural Language Processing：Deep Neural Networks with Multitask Learning ICML08
[2] A convolutional neural network for modelling sentences ACL14
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
