[发明专利]行为检测方法、装置及电子设备

说明书

本说明书公开了行为检测方法、装置及电子设备，涉及人工智能技术领域，其中方法包括：获取目标生物体的第一图像和第二图像，第一图像为目标生物体的红外图像，第二图像为目标生物体反射的可见光形成的图像；根据第一图像在第二图像中确定出目标生物体的子区域；提取第二图像中子区域的图像特征得到第一特征矩阵，并提取第二图像的图像特征得到第二特征矩阵；将第一特征矩阵和第二特征矩阵融合为第三特征矩阵；将第三特征矩阵输入预先建立的检测模型，得到目标生物体的行为描述语句。该方法对于没有训练过的图像也能够检测出其中目标生物体的行为；综合考虑第二图像的局部特征和全局特征，较充分地利用了第二图像中的信息，行为检测的准确性较高。

技术领域

本申请涉及人工智能技术领域，特别涉及行为检测方法、装置及电子设备。

背景技术

行为检测是对目标群体进行行为异常或者行为有效性的检测事件，适用在一些需要进行群体行为分析，或者是异常行为检测的领域。以银行网点为例，通过对网点客户在业务办理中的行为检测，可以及时发现异常取款等行为；又例如，在生产车间，通过对车间内员工的行为检测，可以及时发现员工抽烟等行为从而可以避免发生安全事故。且通过行为检测还可以了解的动物的生活习性等。

为了进行有效的行为检测，目前常用的检测方法是从图像中识别出人或动物的肢体变化信息，然后，根据预先设定的肢体变化信息与行为描述之间的对应关系确定人或动物的行为。然而，这种检测方式需要依赖于所指定的肢体变化信息与行为描述之间的对应关系，如果肢体变化信息检测出错则会导致行为检测出错；并且，对于在规则中没有记录对应行为描述的肢体变化信息将无法进行检测。

发明内容

本申请实施方式的目的是提供行为检测方法、装置及电子设备，以解决现有行为检测方法容易出错的问题。

为解决上述技术问题，本说明书第一方面提供一种行为检测方法，包括：获取目标生物体的第一图像和第二图像，其中，所述第一图像为目标生物体的红外图像，所述第二图像为目标生物体反射的可见光形成的图像；根据所述第一图像在所述第二图像中确定出所述目标生物体的子区域；提取所述第二图像中所述子区域的图像特征得到第一特征矩阵，并提取所述第二图像的图像特征得到第二特征矩阵；将所述第一特征矩阵和所述第二特征矩阵融合为第三特征矩阵；将所述第三特征矩阵输入预先建立的检测模型，得到目标生物体的行为描述语句。

在一些实施例中，所述提取所述第二图像中所述子区域的图像特征得到第一特征矩阵，包括：按照以下公式计算所述第二图像中所述子区域内各个像素的二阶颜色矩和三阶颜色矩：其中，P_ij表示图像的第i个像素的第j个通道上的颜色值，N为一个通道上所有像素的数量，E_i为一个像素的一阶原点矩，σ_i为一个像素的二阶颜色矩，S_i为一个像素的三阶颜色矩；以各个像素的二阶颜色矩所形成的矩阵、各个像素的三阶颜色矩所形成的矩阵分别作为一个第一特征矩阵。

在一些实施例中，所述根据所述第一特征矩阵和所述第二特征矩阵融合为第三特征矩阵，包括：根据第一特征矩阵和第二特征矩阵建立以联合特征矩阵为变量的目标函数；求解目标函数取最值时的联合特征矩阵，并将联合特征矩阵作为融合后的第三特征矩阵。

在一些实施例中，所述根据所述第一特征矩阵和所述第二特征矩阵融合为第三特征矩阵，包括：将第一特征矩阵与第二特征矩阵按照下列公式建立以联合特征矩阵为变量的目标函数：Z＝M_f^TG_fM_f-kM_f^TL_fM_f，其中，Z表示目标函数，M_f为联合特征矩阵，M_f^T为联合特征矩阵的转置，G_f为第二特征矩阵，L_f为第一特征矩阵，k为常量；以M_f·M_f^T＝1为约束条件，求解目标函数取值最大时的联合特征矩阵作为第三特征矩阵。