[发明专利]行为检测方法、装置及电子设备

权利要求书

1.一种行为检测方法，其特征在于，包括：

获取目标生物体的第一图像和第二图像，其中，所述第一图像为目标生物体的红外图像，所述第二图像为目标生物体反射的可见光形成的图像；

根据所述第一图像在所述第二图像中确定出所述目标生物体的子区域；

提取所述第二图像中所述子区域的图像特征得到第一特征矩阵，并提取所述第二图像的图像特征得到第二特征矩阵；

将所述第一特征矩阵和所述第二特征矩阵融合为第三特征矩阵；

将所述第三特征矩阵输入预先建立的检测模型，得到目标生物体的行为描述语句。

2.根据权利要求1所述的方法，其特征在于，所述提取所述第二图像中所述子区域的图像特征得到第一特征矩阵，包括：

按照以下公式计算所述第二图像中所述子区域内各个像素的二阶颜色矩和三阶颜色矩：

其中，P_ij表示图像的第i个像素的第j个通道上的颜色值，N为一个通道上所有像素的数量，E_i为一个像素的一阶原点矩，σ_i为一个像素的二阶颜色矩，S_i为一个像素的三阶颜色矩；

以各个像素的二阶颜色矩所形成的矩阵、各个像素的三阶颜色矩所形成的矩阵分别作为一个第一特征矩阵。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征矩阵和所述第二特征矩阵融合为第三特征矩阵，包括：

根据第一特征矩阵和第二特征矩阵建立以联合特征矩阵为变量的目标函数；

求解目标函数取最值时的联合特征矩阵，并将联合特征矩阵作为融合后的第三特征矩阵。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征矩阵和所述第二特征矩阵融合为第三特征矩阵，包括：

将第一特征矩阵与第二特征矩阵按照下列公式建立以联合特征矩阵为变量的目标函数：Z＝M_f^TG_fM_f-kM_f^TL_fM_f，其中，Z表示目标函数，M_f为联合特征矩阵，M_f^T为联合特征矩阵的转置，G_f为第二特征矩阵，L_f为第一特征矩阵，k为常量；

以M_f·M_f^T＝1为约束条件，求解目标函数取值最大时的联合特征矩阵作为第三特征矩阵。

5.根据权利要求1所述的方法，其特征在于，所述预先建立的检测模型按照以下方法训练得到：

获取多个样本对，所述样本对包括：样本生物体的第一样本图像、第二样本图像和标定的行为描述语句，其中，所述第一样本图像为样本生物体的红外图像，所述第二样本图像为样本生物体反射的可见光形成的图像；

基于所述多个样本对，对所述检测模型进行训练。

6.根据权利要求5所述的方法，其特征在于，在所述基于所述多个样本对，对所述检测模型进行训练，包括：

根据所述第一样本图像中红外线强度确定出样本生物体在第二样本图像中的子区域；

提取样本生物体在第二样本图像中的子区域的图像特征得到第一样本特征矩阵，并提取所述第二样本图像的图像特征得到第二样本特征矩阵；

将所述第一样本特征矩阵和所述第二样本特征矩阵融合为第三特征矩阵；

将所述第三特征矩阵输入检测模型，得到输出的行为描述语句；

确定输出的行为描述语句与所述标定的行为描述语句之间的差异；

根据所述差异，调整所述检测模型中的模型参数。