[发明专利]人体动作识别及其神经网络生成方法、装置和电子设备

说明书

本发明提供了一种人体动作识别及其神经网络生成方法、装置和电子设备，涉及图像识别技术领域，用于进行人体动作识别的神经网络生成方法包括：对目标图像进行检测，得到人体目标点检测结果；对所述目标图像进行识别，得到初步动作识别结果；根据所述人体目标点检测结果与所述动作识别结果对特征进行融合，得到融合结果；根据所述融合结果，通过训练生成动作识别神经网络，解决了现有技术中存在的目前的图像识别神经网络对于动作识别的识别能力较低的技术问题。

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种人体动作识别及其神经网络生成方法、装置和电子设备。

背景技术

目前，动作识别作为视频自动分析的重要基础，将在智能监控，新零售、人机互动，教育教学等一系列应用场景中发挥重要的作用。

例如，在安防监控场景中，若能很好的识别出扒窃，撬锁，打斗等异常行为，能够起到减少人力监控成本、维护治安的重要功能；在新零售领域中，动作识别有助于更好的理解用户行为，自动分析顾客喜好，提升用户体验。

但是，目前的动作识别神经网络主要集中于长短期记忆网络(Long Short-TermMemory，简称LSTM)、时标网状图(time scalar network，简称TSN)等传统的图像识别神经网络方法，对于动作识别的识别能力较低。

发明内容

有鉴于此，本发明的目的在于提供一种人体动作识别及其神经网络生成方法、装置和电子设备，以解决现有技术中存在的目前的图像识别神经网络对于动作识别的识别能力较低的技术问题。

第一方面，本发明实施例提供了一种用于人体动作识别的神经网络生成方法，包括：

对目标图像进行检测，得到人体目标点检测结果；

对所述目标图像进行识别，得到初步动作识别结果；

根据所述人体目标点检测结果与所述动作识别结果对特征进行融合，得到融合结果；

根据所述融合结果，通过训练生成动作识别神经网络。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述对目标图像进行检测，得到人体目标点检测结果，包括：

通过人体姿态估计算法对目标图像进行检测，得到人体目标点检测结果；

其中，所述人体目标点检测结果包括：人体关节部位点的位置信息和/或角度信息，和/或，肢体关键部位点的位置信息和/或角度信息。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据所述人体目标点检测结果与所述动作识别结果对特征进行融合，得到融合结果，包括：

根据所述人体目标点检测结果得到第一特征向量组；

根据所述动作识别结果得到第二特征向量组；

将所述第一特征向量组与所述第二特征向量组进行特征融合，得到第三特征向量组。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述根据所述融合结果，通过训练生成动作识别神经网络，包括：

通过所述第三特征向量组对所述目标图像进行调整，得到素材图像；

利用所述素材图像对初始神经网络进行训练，生成动作识别神经网络。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述将所述第一特征向量组与所述第二特征向量组进行特征融合，得到第三特征向量组，包括：

通过每个元素对应相乘法或每个元素对应相加法将所述第一特征向量组与所述第二特征向量组进行特征融合，得到第三特征向量组。