[发明专利]身份、位置和动作识别方法、系统、电子设备及存储介质

权利要求书

1.一种身份、位置和动作识别系统，其特征在于，包括：身份识别模块、位置识别模块和/或动作识别模块；

所述身份识别模块，用于基于人员的图像识别所述人员的身份；

所述位置识别模块，用于基于从相对位置固定的多个摄像装置一起获取的所述人员的图像识别所述人员的位置；

所述动作识别模块，用于基于包括所述人员的图像的视频帧序列识别所述人员的动作。

2.根据权利要求1所述的身份、位置和动作识别系统，其特征在于，所述身份识别模块包括人脸识别模块，所述人脸识别模块用于：

用OpenPose对所述人员的图像中的人脸图像进行特征点捕捉；

基于所述特征点将所述人脸图像旋转到水平位置；

将水平位置的所述人脸图像分成n个部分输入TP-GAN，得到正面人脸图像；

使用Dlib中的ResNet-29网络从所述正面人脸图像提取特征向量；

基于所述特征向量，使用存储有与身份信息对应的图像数据的数据库进行相似度判别，识别所述人员的身份。

3.根据权利要求2所述的身份、位置和动作识别系统，其特征在于，所述基于所述特征点将所述人脸图像旋转到水平位置包括：

计算所述人脸图像中左眼和右眼的像素坐标之差，得到待旋转角度；

以左眼像素坐标为旋转中心，将人脸图像旋转所述待旋转角度，得到水平位置的所述人脸图像。

4.根据权利要求2所述的身份、位置和动作识别系统，其特征在于，将水平位置的所述人脸图像分成n个部分输入TP-GAN包括：

从所述人脸图像裁剪出左眼部分、右眼部分、鼻子部分、嘴巴部分；

将所述人脸图像、左眼部分、右眼部分、鼻子部分以及嘴巴部分按比例保真地缩放，作为TP-GAN的输入。

5.根据权利要求1所述的身份、位置和动作识别系统，其特征在于，所述基于从相对位置固定的多个摄像装置一起获取的所述人员的图像识别所述人员的位置包括：

使用openpose单姿态估计算法对所述多个摄像装置中的每个摄像装置获取的所述人员的图像进行二维像素坐标定位，得到每个图像中人体的二维像素坐标；

通过摄像装置标定获取所述多个摄像装置的内外参数；

基于所述每个图像中人体的二维像素坐标和所述多个摄像装置的内外参数，重建人体三维位置坐标，从而识别所述人员的位置。

6.根据权利要求1所述的身份、位置和动作识别系统，其特征在于，所述动作识别模块包括数据处理子模块、特征提取子模块以及动作分类子模块；

所述数据处理子模块包括数据预处理过程和视频帧采样过程；

所述特征提取子模块包括融入注意力的残差网络；

所述动作分类子模块包括两层长短时记忆网络。

7.根据权利要求6所述的身份、位置和动作识别系统，其特征在于，所述数据预处理过程采用数据增强算法，所述数据增强算法将所述视频帧序列中的每张图像按原有顺序，以在预定范围内的进行水平方向上的平移。

8.根据权利要求6所述的身份、位置和动作识别系统，其特征在于，所述视频帧采样过程采用视频帧采样算法对所述视频帧序列的中间段进行采样。

9.根据权利要求6所述的身份、位置和动作识别系统，其特征在于，所述融入注意力的残差网络的残差部分包括分别使用1×1、3×3和1×1卷积核的三个卷积层。

10.身份、位置和动作识别一种身份、位置和动作识别方法，包括：

通过设置在空间中相对位置固定的摄像装置捕捉包括人员图像的视频帧序列；

将所述视频帧序列输入权利要求1-9任一项所述的身份、位置和动作识别系统身份、位置和动作识别，所述身份、位置和动作识别系统通过身份识别模块识别所述人员的身份，通过位置识别模块识别所述人员的位置，通过动作识别模块识别所述人员的动作。