[发明专利]一种行为识别深度网络模型的构建方法及行为识别方法在审
申请号: | 202010727813.6 | 申请日: | 2020-07-23 |
公开(公告)号: | CN111985343A | 公开(公告)日: | 2020-11-24 |
发明(设计)人: | 李岩山;夏荣杰 | 申请(专利权)人: | 深圳大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京三聚阳光知识产权代理有限公司 11250 | 代理人: | 李静玉 |
地址: | 518000 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 行为 识别 深度 网络 模型 构建 方法 | ||
本发明公开了一种行为识别深度网络模型的构建方法及行为识别方法,该构建方法包括:获取骨架序列特征图;根据骨架序列特征图中的局部特征和全局信息构建通道注意力模型;根据骨架序列特征图中的空间维度和时间维度构建时空注意力模型;根据通道注意力模型、时空注意力模型及预训练的神经网络模型构建行为识别深度网络模型。通过实施本发明,在现有的神经网络模型中嵌入通道注意力模型和时空注意力模型,通道注意力模型增强了与骨架运动相关的局部特征;时空注意力模型可以捕捉全局时空上下文感知协同关系,有利于捕捉涉及长距离关节点交互的空间共现特征和远距离时刻骨架帧的时间交互特征,由此可以构建得到识别准确的行为识别深度网络模型。
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种行为识别深度网络模型的构建方法及行为识别方法。
背景技术
人体行为识别是计算机视觉研究领域的重要研究问题,被广泛应用于智能视频监控、公共安全、行为分析、人机交互及智能机器人等众多领域中。传统的人体行为识别主要是基于RGB视频序列,受光照、场景和摄像机镜头移动等因素影响很大,因此难以准确描述序列中人体的运动。随着高度精确的深度传感器和人体姿势估计算法的发展,人体骨架关节点变得易于获得。人体骨架关节点的运动对于光照变化和场景变化具有鲁棒性,这为描述人体行为提供了简洁的表示,为人体行为识别带来新的机遇。
近期发展了基于深度学习的骨架行为识别方法,将整个骨架序列的关节点坐标位置结构化为坐标向量或彩色图片,然后将其馈送到循环神经网络(Recurrent NeuralNetworks,RNN)、长短时记忆神经元(Long-Short Term Memory,LSTM)、卷积神经网络(Convo lutional Neural Networks,CNN)和图卷积网络(Graph Convol utionalNetwork,GCN)以学习人体骨架序列的空间和时间信息。然而,基于这些神经网络的识别方法大多受卷积核的局部约束,难以捕捉到长距离关节点间的依赖关系进而有效地挖掘骨架序列中的空间共现特征和时间感知特征,进而导致无法自适应地提取得到准确的运动模式和行为语义。
发明内容
有鉴于此,本发明实施例提供了一种行为识别深度网络模型的构建方法及行为识别方法,以解决采用现有的神经网络进行人体行为识别时,识别准确性较差的技术问题。
本发明提出的技术方案如下:
本发明实施例第一方面提供一种行为识别深度网络模型的构建方法,该构建方法包括:获取骨架序列特征图;根据骨架序列特征图中的局部特征和全局信息构建通道注意力模型;根据骨架序列特征图中的空间维度和时间维度构建时空注意力模型;根据所述通道注意力模型、所述时空注意力模型及预训练的神经网络模型构建行为识别深度网络模型。
进一步地,根据所述通道注意力模型、所述时空注意力模型及预训练的神经网络模型构建行为识别深度网络模型,包括:根据所述通道注意力模型和预训练的神经网络模型的残差单元构建新残差单元;根据所述新残差单元和短接机制构建行为识别深度网络模型的卷积层;根据所述卷积层、时空注意力模型及预训练的神经网络模型的池化层构建行为识别深度网络模型。
进一步地,根据骨架序列特征图中的局部特征和全局信息构建通道注意力模型,包括:根据卷积运算提取所述骨架序列特征图中的局部特征得到局部特征集合;根据全局平均池化运算对所述局部特征集合进行聚合,得到包含全局信息的通道描述子;根据所述通道描述子进行全连接运算和帧差运算,得到运动增强的骨架序列特征图作为通道注意力模型。
进一步地,根据所述通道描述子进行全连接运算和帧差运算,得到运动增强的骨架序列特征图作为通道注意力模型,包括:根据所述通道描述子进行降维全连接运算和帧差运算,得到运动信息;根据所述运动信息进行升维全连接运算,得到通道注意力权重;根据所述通道注意力权利和局部特征集合计算得到运动增强的骨架序列特征图作为通道注意力模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳大学,未经深圳大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010727813.6/2.html,转载请声明来源钻瓜专利网。