[发明专利]多任务协同识别方法及系统

权利要求书

1.一种多任务协同识别方法，其特征在于，包括如下步骤：

步骤S110：基于时间同步匹配机制，提取多源异构数据的通用特征，实现所述多源异构数据的通用特征描述；提取所述多源异构数据的低层特征流，为每个信道的数据建立一个编码概念流，作为复杂事件的参考语义编码，对所述低层特征流与所述参考语义编码进行动态时间规整，产生时间平移函数，实现语义对齐；其中，

所述提取所述多源异构数据的低层特征流包括：

对音频信号声波采样后，进行频谱变换，构建频谱图；

对二维视频信号进行频谱变换，引入共生统计特性得到具有旋转平移不变性的二维时序信号；

对三维视频序列，引入多尺度理论进行尺度空间变换，再进行频谱变换和统计共生，生成时序金字塔频谱特征；

步骤S120：结合基于外部依赖的协同注意机制，将所述通用特征作为先验知识进行训练，生成通用特征间的关联记忆关系；

步骤S130：提取多源异构数据的环境感知参数，结合所述关联记忆关系，实现多任务识别；

步骤S110中，所述提取多源异构数据的通用特征，实现所述多源异构数据的通用特征描述包括：

对S类异构特征，将记为n_i个训练样本的特征矩阵，数据噪声部分为E，Γ为旋转因子，建立正交约束下的优化函数为：

其中，X_i表示一个特征类型，Θ_i为X_i的投影矩阵，{Θ_i}表示通用语义特征子空间，W₀表示语义共享矩阵，{W_i}表示特定特征矩阵，R₁(W₀,{W_i},{Θ_i})表示损失函数，R₂({Θ_i})表示重构损失函数，R₃(W₀,{W_i})表示正则函数，λ表示共享矩阵系数，T表示矩阵进行转置运算，Y_i表示第i个特征类别标注，F表示Frobenius范数，表示投影矩阵Θ_i的转置，α、β、μ₁和μ₂为乘数因子，rank(X)为特征矩阵X的秩，E是噪声矩阵；

对多源异构数据中未标注数据的迁移自标注学习，记未标注数据集为迁移学习的标注目标集，使目标集与补充集通过{Θ_i}联合优化特征自主标注学习，为补充集样本特征描述，为补充集标注信息，为目标集样本特征描述，{Y_i^t}为目标集标注信息，迁移自标注学习模型表示如下：

其中F(·)是目标函数，ρ是乘数因子，使用三阶段优化算法求解所述迁移自标注学习模型，获得所述通用特征描述；

所述步骤S120具体包括：

对通用特征描述集e_≤T＝{e₁,e₂,···,e_T}和对应的隐变量集z_≤T＝{z₁,z₂,···,z_T}，使用平移映射h_t＝f_h(h_t-1,e_t,z_t)修正每个时间点的确定性隐状态变量h_t，先验映射函数f_z(h_t-1)描述过去观察和隐变量的非线性依赖并提供隐变量分布参数；

非线性观察映射函数f_e(z_t,h_t-1)提供依赖于隐变量和状态的似然函数，利用外部记忆模型修正时序变量自动编码器，在每个时间点产生一个记忆文本ψ_t,得具有关联记忆关系的先验信息和后验信息如下：

先验信息

后验信息

其中，是隐变量z状态μ的平移映射函数，是隐变量z状态σ的平移映射函数，是后验概率q状态μ的平移映射函数，后验概率q状态σ的平移映射函数，先验信息是依赖于先验映射f_z记忆文本的对角高斯分布函数，而对角高斯近似后验分布依赖于通过后验映射函数f_q关联的记忆文本Ψ_t-1和当前观察e_t。