[发明专利]一种基于多视觉线索融合的在线学习投入识别方法

权利要求书

1.一种基于多视觉线索融合的在线学习投入识别方法，其特征在于，包括如下步骤：

步骤1，从多视觉线索角度出发，构建基于多视觉线索的学习投入感知数据库；

步骤2，提取多视觉线索数据，进行学习投入感知的视觉线索分析，基于多视觉线索从不同维度构建在线学习投入表征概要模型，进行基于多视觉线索的多维投入特征提取；

步骤3，采用深度学习的方法融合步骤2得到的投入特征，然后将融合后的特征输入到深度卷积网络进行认知投入识别，进一步通过Grad-CAM方法感知学习者在不同维度下的细粒度在线学习投入水平。

2.如权利要求1所述的一种基于多视觉线索融合的在线学习投入识别方法，其特征在于：多视觉线索包括面部表情、身体姿态、头部姿态、rPPG信号以及眼动信号。

3.如权利要求1所述的一种基于多视觉线索融合的在线学习投入识别方法，其特征在于：步骤2中以多视觉线索数据为基础，利用深度相关分析方法，挖掘视觉线索的相关性，进而确定某一维度下采用的视觉线索；

深度相关分析方法的目标函数是最大化网络输出的相关性，即

其中X_i和X_j分别表示两个不同视觉线索的特征，表示需要被优化的网络参数，表示最优网络参数，f_i,f_j表示最后输出；

进一步的，经过网络映射之后，判断两种视觉线索的非线性相关性，该判断可以通过计算输出的相关性进行评估，计算公式如下所示：

其中ρ_i,j表示了两个视觉线索之间的相关性，分别表示f_i,f_j的标准差，将评估结果作为确定各维度用哪些视觉线索表征的依据。

4.如权利要求1所述的一种基于多视觉线索融合的在线学习投入识别方法，其特征在于：从行为、情感以及认知三个维度构建在线学习投入表征概要模型。

5.如权利要求1所述的一种基于多视觉线索融合的在线学习投入识别方法，其特征在于：在线学习投入表征概要模型的具体构建步骤如下；

A.图构建

给定一个动态输入序列，首先构造一个无向图G＝(V,E)来获取其中的学习投入特征，其中V是节点，E是所有节点之间的边所构成的集合，邻接矩阵A∈R^M×M表示无向图G中节点的邻接关系；其次，为了通过图结构获取动态信息，将序列中的片段或帧转化为图中的节点，用表示，每一个节点v_i都可用一个特征向量n_i∈R^f与之关联，f表示特征维数，邻接矩阵A中节点间的权重通过学习的方式得到；

B.可学习图网络

所采用的图网络模型具体包括如下四个部分；

(1)非线性图卷积

首先定义图卷积操作，其定义为：

G^*(H^k)＝σ(MLP^k(ReLu(A)H^k))， (3)

其中k表示层数，k＝0,…,K)，H^k为第k+1层的输入，MLP^k表示第k层上多层感知机，σ是非线性激活函数，A是待学习的邻接矩阵，G^*表示图卷积层，ReLu是非线性激活函数；

(2)图Inception

给定输入H^k，则图Inception可表示为：

其中和是两个不同的图卷积操作，max pool(H^k)是池化操作，该层输出由两个图卷积层和一个池化层拼接而成；

(3)可学习池化

采用可学习的池化方法，对H^K层设计池化方法，具体计算公式如下：

h_G＝[max pool(H^K)|H^KP|meanpool(H^K)] (5)

其中P为池化向量，是可学习的池化参数，h_G是池化层输出；

(4)目标函数

图分类损失L_GC可使用分类问题中常见的交叉熵损失进行定义，具体计算公式如下：

其中是对第n个输入序列的投入测量结果，即模型的输出；

图结构学习损失L_GL的设计是为了方便学习池化向量P和邻接矩阵A，其定义为：

其中⊙表示元素乘积，e是元素均为1的向量，λ₁，λ₂和λ₃分别控制各部分的权重，结构矩阵A_d定义为：

(A_d)_ij＝(i-j)²， (8)

其中，i，j表示节点序号，A_d可以迫使时间上相邻的节点有更强的关联；

为了得到紧致的表示，定义图表示损失为：

L_GR＝λ₄I_α(N；H^K)＝λ₄(E_α(N)+E_α(H^K)-E_α(N,H^K)) (9)

其中，N表示模型的输入，λ₄是权重系数，I_α是互信息，E_α为α阶矩阵表示Renyi熵，因此整体最优化目标函数为：

其中，θ表示其它待学习的参数。