[发明专利]一种能利用事件持续时间的高效LSTM设计方法

权利要求书

1.一种能利用事件持续时间的高效LSTM设计方法，其特征在于，包括以下步骤：

步骤1，使用基于事件持续时间的序列编码方法，将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入；

步骤2，通过高效LSTM隐藏层神经元记忆更新方法，使神经元能够记忆事件的持续时间，合理高效地进行神经元的计算；所述事件为视频事件；

所述步骤1中，获得各时刻LSTM网络的输入的方法主要包括以下步骤：

步骤1.1，使用α表示序列数据的采样间隔时间，每隔时间间隔α对序列进行采样并由此构建输入高效LSTM的序列编码；

步骤1.2，为了表示序列数据中包含的所有事件和事件的起止时间，使用N维向量x_t表示高效LSTM在输入时刻t的输入编码，即编码向量，其中N为所有事件的种类，向量x_t中的每一元素分别对应一种事件；

步骤1.3，在输入时刻t，判断对应的采样时刻是否有事件j发生，若有，则向量x_t中的第j位置置为1；若无，向量x_t中的第j位置置为0；由此得到的编码向量x_t，即为各时刻LSTM网络的输入；

所述步骤2中，高效LSTM隐藏层神经元记忆更新方法主要包括以下步骤：

步骤2.1，确定LSTM单元中的掩门mask gate和时长duration，mask gate的开、关由网络各时刻输入的变化情况决定，若某一时刻的编码向量x_t与上一时刻x_t-1不同，则说明序列在t时刻事件状态发生了改变，此时隐藏层神经元及时更新记忆，mask gate打开；若编码向量x_t与x_t-1相同，则说明序列在t和t-1时刻的事件状态一致，此时神经元记忆无需更新，mask gate关闭，进入保持阶段；每当记忆保持的持续时间增加一个时刻，duration的值增1；

步骤2.2根据各时刻的mask gate和duration，使用门控选择更新方法计算隐藏层神经元记忆和输出。

2.根据权利要求1所述的一种能利用事件持续时间的高效LSTM设计方法，其特征在于，所述mask gate和duration的计算方法分别如下：

其中，m_t表示t时刻的mask gate，x_t和x_t-1分别表示t和t-1时刻的编码向量，d_t表示t时刻的duration，在每个记忆保持时刻，duration的值持续累积。

3.根据权利要求1所述的一种能利用事件持续时间的高效LSTM设计方法，其特征在于：所述步骤2.2中门控选择更新方法主要包括以下步骤：

步骤2.2.1根据输入编码x_t和上一时刻隐藏层输出h_t-1，计算LSTM单元的遗忘门f_t、输入门i_t、输出门o_t和当前隐藏层的输入c_in_t，计算方法分别如下：

i_t＝σ(W_xix_t+W_hih_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f)

o_t＝σ(W_xox_t+W_hoh_t-1+b_o)

其中，W_xi和W_hi是输入门权重矩阵，W_xf和W_hf是遗忘门权重矩阵，W_xo和W_ho是输出门权重矩阵，W_xc和W_hc为当前隐藏层权重矩阵，b_i、b_f、b_o、分别是输入门，遗忘门，输出门和输入的偏置，σ是sigmoid函数，tanh函数为输入的激活函数；

步骤2.2.2根据mask gate、duration、遗忘门f_t、输入门i_t、输出门o_t和上一时刻神经元的记忆，高效计算隐藏层新的记忆和输出，计算方法分别如下：

其中，⊙是Hadamard积，c_t,h_t分别表示t时刻隐藏层神经元的记忆和输出，为t-d_t+1时刻记忆，为t时刻神经元记忆参考值，c_in_t为t时刻隐藏层神经元的输入，为t时刻神经元输出参考值，为t-d_t+1时刻神经元输出，KC_t为t时刻记忆持续，KH_t为t时刻输出持续，A为1向量，m_t表示t时刻的mask gate，d_t表示t时刻的duration；

受m_t的控制，只在m_t＝1时，c_t和h_t被更新为和m_t＝0时，无需计算和和将利用之前最近一次更新的状态和duration进行计算。