[发明专利]一种行为识别方法、装置、设备及存储介质在审
申请号: | 202210101633.6 | 申请日: | 2022-01-27 |
公开(公告)号: | CN114429608A | 公开(公告)日: | 2022-05-03 |
发明(设计)人: | 苏海昇 | 申请(专利权)人: | 上海商汤智能科技有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V40/20;G06V10/764;G06K9/62 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 贾伟;张颖玲 |
地址: | 200233 上海市徐*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 行为 识别 方法 装置 设备 存储 介质 | ||
1.一种行为识别方法,其特征在于,所述方法包括:
获取包括待识别对象的视频帧序列;
在所述视频帧序列中,确定所述待识别对象所在的第一图像区域集合;
基于所述第一图像区域集合中所述待识别对象的行为类别,对不同第一图像区域之间的特征距离进行调整,得到第二图像区域集合;
基于所述第二图像区域集合,对所述待识别对象的行为进行识别,得到识别结果。
2.根据权利要求1所述的方法,其特征在于,所述在所述视频帧序列中,确定所述待识别对象所在的第一图像区域集合,包括:
对每一视频帧中的所述待识别对象进行检测,得到所述待识别对象的多个检测框;
在所述每一视频帧中对所述多个检测框的面积进行调整,得到多个已调整区域;
在所述每一视频帧的多个已调整区域中,确定所述第一图像区域集合。
3.根据权利要求2所述的方法,其特征在于,所述在所述每一视频帧的多个已调整区域中,确定所述第一图像区域集合,包括:
在所述每一视频帧的多个已调整区域中,确定与参考已调整区域的重叠度大于预设重叠度阈值且面积小于预设面积阈值的目标已调整区域;
在所述每一视频帧的多个已调整区域中,剔除所述目标已调整区域,得到所述每一视频帧的所述第一图像区域集合;
其中,所述参考已调整区域为所述多个已调整区域中第一置信度大于第一置信度阈值的任一已调整区域。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第一图像区域集合中所述待识别对象的行为类别,对不同第一图像区域之间的特征距离进行调整,得到第二图像区域集合之前,所述方法还包括:
从所述视频帧序列中,选择小于预设帧数的视频帧作为目标视频帧;
基于每一目标视频帧中的第一图像区域,对所述待识别对象的行为进行分类,得到所述待识别对象的行为类别。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述第一图像区域集合中所述待识别对象的行为类别,对不同第一图像区域之间的特征距离进行调整,得到第二图像区域集合,包括:
对所述行为类别相同的第一图像区域之间的特征距离进行减小和/或对所述行为类别不同的第一图像区域之间的特征距离进行增大,得到所述第二图像区域集合。
6.根据权利要求1至5任一项所述的方法,其特征在于,在所述视频帧序列中的视频帧包括至少一个第二图像区域的情况下,所述基于所述第二图像区域集合,对所述待识别对象的行为进行识别,得到识别结果,包括:
确定所述视频帧中每一第二图像区域的行为类别为预设类别的第二置信度;
在所述视频帧的至少一个第二图像区域中,确定所述第二置信度大于或等于第二置信度阈值的候选图像区域,得到候选图像区域集合;
在所述候选图像区域集合中,剔除与所述候选图像区域集合的空间距离满足预设条件的候选图像区域,得到剔除后的候选图像区域集合;
基于所述视频帧中的所述剔除后的候选图像区域集合,对所述待识别对象的行为进行识别,得到所述识别结果。
7.根据权利要求6所述的方法,其特征在于,所述在所述候选图像区域集合中,剔除与所述候选图像区域集合的空间距离满足预设条件的候选图像区域,得到剔除后的候选图像区域集合,包括:
在所述候选图像区域集合中,确定所述第二置信度等于第二置信度阈值的候选图像区域子集合;
在所述候选图像区域子集合中,确定任一候选图像区域与其他候选图像区域之间的空间距离;其中,所述其他候选图像区域为所述候选图像区域子集合中除所述任一候选图像区域之外的候选图像区域;
确定所述空间距离大于预设空间距离阈值的待剔除候选图像区域;
在所述候选图像区域集合中,剔除所述待剔除候选图像区域,得到所述剔除后的候选图像区域集合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海商汤智能科技有限公司,未经上海商汤智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210101633.6/1.html,转载请声明来源钻瓜专利网。