[发明专利]图数据识别方法、装置、计算机设备和存储介质在审
申请号: | 201910503194.X | 申请日: | 2019-06-11 |
公开(公告)号: | CN110378372A | 公开(公告)日: | 2019-10-25 |
发明(设计)人: | 张一帆;史磊 | 申请(专利权)人: | 中国科学院自动化研究所南京人工智能芯片创新研究院;中国科学院自动化研究所 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 孟德栋 |
地址: | 211135 江苏省南*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 矩阵 偏置 邻接矩阵 输入特征 卷积 卷积神经网络 特征图 计算机设备 存储介质 目标输出 卷积核 图生成 图数据 图像数据生成 参考 固定的 可调整 准确率 出图 申请 | ||
本申请涉及一种图数据识别方法、装置、计算机设备和存储介质。所述方法包括:获取输入已训练的卷积神经网络的当前卷积层的输入特征图,输入特征图为根据图像数据生成的特征图,获取当前卷积层的第一偏置矩阵,其中第一偏置矩阵为生成已训练的卷积神经网络时生成的矩阵,根据输入特征图生成第二偏置矩阵,获取参考邻接矩阵,计算参考邻接矩阵、第一偏置矩阵和第二偏置矩阵的和,得到目标邻接矩阵,获取当前卷积层的卷积核,根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图,根据目标输出特征图,识别出图数据的识别结果。对现有的固定的邻接矩阵基础上增加可调整的偏置矩阵,提高已训练的卷积神经网络的识别准确率。
技术领域
本申请涉及计算机技术领域,尤其涉及一种图数据识别方法、装置、计算机设备和存储介质。
背景技术
在骨骼点数据中,人体是由若干预先定义好的关键关节点在相机坐标系中的坐标来表示的。它可以很方便地通过深度摄像头(例如Kinect)以及各种姿态估计算法(例如OpenPose)获得。图1为Kinect深度摄像机所定义的人体的关键关节点。它将人体定义为25个关键关节点的三维坐标。由于行为往往是以视频的形式存在的,所以一个长度为T帧的行为可以用Tx25x3的张量来表示。
参照图2,图2为一个实施例中的时空图。每个关节点定义为图的节点,关节点之间的物理连接定义为图的边,并且在相邻帧的同一个节点间加上时间维度的边,得到一张可以描述人体行为的时空图。
目前常见的基于骨骼点的行为识别方法为图卷积。图卷积和普通卷积操作不同,在图上做卷积时,每一个节点的邻节点数是不固定的,而卷积操作的参数是固定的,为了将固定数量的参数和不定数量的临节点数对应起来,需要定义映射函数,通过映射函数实现参数和节点的对应。如定义卷积核大小为三,如图3所示,三个参数分别对应于远离人体中心的点001,靠近人体中心点000的点002和卷积点本身003。则卷积操作可以用公式(1)表示:
其中f是输入输出特征张量,w是卷积参数,v是图中节点,l代表节点与参数间的映射函数,Z是归一化函数。在具体实现时,映射函数可以通过图的邻接矩阵来实现,通过邻接矩阵表示的卷积操作如公式(2)所示:
其中A代表图的邻接矩阵,K是卷积核大小,Λ用于对A进行归一化处理。通过与邻接矩阵A相乘,从特征张量中“筛选”出所需要的节点并与对应的参数相乘。
上述通过邻接矩阵表示的卷积操作时,邻接矩阵定义了用于图卷积网络中的人体图的拓扑结构。人体姿态多种多样,固定的拓扑结构无法准确地描述人体的每一种姿态,从而导致识别准确率低下。
发明内容
为了解决上述技术问题,本申请提供了一种图数据识别方法、装置、计算机设备和存储介质。
第一方面,本申请提供了一种图数据识别方法,包括:
获取输入已训练的卷积神经网络的当前卷积层的输入特征图,输入特征图为根据图像数据生成的特征图;
获取当前卷积层的第一偏置矩阵,其中第一偏置矩阵为生成已训练的卷积神经网络时生成的矩阵;
根据输入特征图生成第二偏置矩阵;
获取参考邻接矩阵,计算参考邻接矩阵、第一偏置矩阵和第二偏置矩阵的和,得到目标邻接矩阵;
获取当前卷积层的卷积核;
根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图;
根据目标输出特征图,识别出图数据的识别结果。
第二方面,本申请提供了一种特图生成装置,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所南京人工智能芯片创新研究院;中国科学院自动化研究所,未经中国科学院自动化研究所南京人工智能芯片创新研究院;中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910503194.X/2.html,转载请声明来源钻瓜专利网。