[发明专利]同步自适应时空特征表达学习模型的构建方法及相关方法

权利要求书

1.一种利用针对序列的同步自适应时空特征表达学习模型的构建方法所构建的模型进行模型分析的方法，其特征在于，所述模型分析方法包括：

利用卷积层对序列进行层级化滤波，以确定所述序列对应的特征图序列；

基于所述特征图序列，计算卷积递归神经网络的输出；

基于所述卷积递归神经网络的所述输出，经全连接层降维，由软最大化层得到所述序列的类属概率；

基于所述序列的所述类属概率，对所述序列的每一帧所隶属的行为类别进行判定，并根据投票来决定所述序列整体的行为类别；

其中，所述卷积递归神经网络的构建方法至少包括：

将长短时记忆神经元输入及三个控制门的全连接替换为四组独立的滤波器，依次构建卷积递归神经元CRN；

将所述X个CRN并行排列，构建卷积递归神经网络层，具体包括：

建立所述各CRN的输出只向其自身基本单元的反馈连接，且在所述各CRN之间不建立连接关系；

在所述卷积递归神经网络层和输入序列之间构建卷积层；

将Y个所述卷积递归神经网络层相堆叠，形成卷积递归神经网络，其中单个所述卷积递归神经网络层包含Z个子层，所述X、所述Y及所述Z均为正整数；

其中，所述基于所述特征图序列，计算所述卷积递归神经网络的输出，具体包括：

根据以下公式确定所述CRN内滤波器的输出：

其中，所述所述所述和所述分别表示t时刻第l层第j个所述CRN的输入单元、输入控制门、遗忘门和输出控制门对应的滤波器输出；所述M_jc、所述M_ji、所述M_jf和所述M_jo分别表示第j个所述CRN单元内部滤波器；所述p表示所述M_jc、所述M_ji、所述M_jf和所述M_jo对应的空间位置元素；所述表示t时刻所述卷积递归神经网络中第l-1层的输出；所述k_ljc、所述k_lji、所述k_ljf及所述k_ljo分别表示所述输入单元、所述输入控制门、所述遗忘门及所述输出控制门；所述表示t-1时刻所述CRN单元的输出；所述w_ljhc、所述w_ljhi、所述w_ljhf及所述w_ljho分别表示由输出至所述输入单元、所述输入控制门、所述遗忘门及所述输出控制门的反馈连接权重；所述b_ljc、所述b_lji、所述b_ljf及所述b_ljo分别表示所述CRN内部基本单元的偏置；

根据以下公式对所述滤波器输出进行非线性映射，以确定所述CRN内部基本单元的输出：

其中，所述g和所述f分别表示非线性映射函数；分别表示t时刻第l层第j个CRN的输入单元、输入控制门、遗忘门和输出控制门对应的内部基本单元输出；

根据以下公式，确定所述CRN内部状态单元的输出：

其中，所述表示所述输入控制门对输入信号的幅度调整；所述表示所述CRN输出经所述遗忘门输出作幅度调整后影响当前时刻Cell的状态；所述表示t时刻所述CRN内部Cell的输出；

根据以下公式对所述Cell的输出进行非线性变换并由所述输出控制门加权，以确定CRN的输出：

其中，所述表示第l层第j个CRN在t时刻的输出；所述表示对应所述CRN的输出控制门状态；所述表示所述Cell状态的非线性映射函数。

2.根据权利要求1所述的模型分析方法，其特征在于，将长短时记忆神经元输入及三个控制门的全连接替换为四组独立的滤波器，依次构建卷积递归神经元CRN，具体包括：

通过共享权重的卷积连接方式，将所述长短时记忆神经元的输入门、输入控制门、遗忘门和输出控制门与所述序列进行连接。

3.根据权利要求2所述的模型分析方法，其特征在于，利用所述卷积递归神经元对于单一时刻的所述序列执行空间上的卷积操作，并对于所述序列各时刻在空间上的相同区域输出沿时间进行迭代运算。