[发明专利]一种行人异常行为检测方法、系统、终端以及存储介质在审
申请号: | 202011069611.3 | 申请日: | 2020-09-30 |
公开(公告)号: | CN112163537A | 公开(公告)日: | 2021-01-01 |
发明(设计)人: | 胡金星;杨戈 | 申请(专利权)人: | 中国科学院深圳先进技术研究院 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/32 |
代理公司: | 深圳市科进知识产权代理事务所(普通合伙) 44316 | 代理人: | 魏毅宏 |
地址: | 518055 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 行人 异常 行为 检测 方法 系统 终端 以及 存储 介质 | ||
1.一种行人异常行为检测方法,其特征在于,包括:
从至少两路监控视频下的所有视频帧中提取行人的骨骼关键点信息,并获取每个骨骼关键点在同一坐标系下的三维空间坐标信息;
根据所述每个骨骼关键点的三维空间信息构建所述行人的骨骼关键点时空图;
将所述行人的骨骼关键点时空图输入时空图神经网络模型,计算得到所述行人的异常分数值,根据所述异常分数值判断所述行人是否行为异常。
2.根据权利要求1所述的行人异常行为检测方法,其特征在于,所述从至少两路监控视频下的所有视频帧中提取行人的骨骼关键点信息,并获取每个骨骼关键点在同一坐标系下的三维空间坐标信息前还包括:
基于统一空间地理坐标框架对至少两路监控视频分别进行地理标定,对所述监控视频进行图像像素坐标与世界地理坐标的转换。
3.根据权利要求2所述的行人异常行为检测方法,其特征在于,所述对所述监控视频进行图像像素坐标与世界地理坐标的转换包括:
采用地理坐标系分别选取每路监控视频的控制点,并获取所述控制点的像素坐标及地理坐标;
利用相机标定方法获取相机参数并校正图像畸变;
选定矩形感兴趣地面区域,对所述监控视频进行透视变换及地理配准,进行图像像素坐标与世界地理坐标的转换:
上述公式中,x′i,y′i为矩形角点图像的平面坐标,xi,yi为通过所述控制点获取的矩形角点图像的世界地平面坐标,M为已知相机内参矩阵,s为已知尺度因子,R为未知旋转矩阵,T为未知平移向量;通过矩形的4个角点坐标对求解R及T,得到图像上矩形内的图像坐标到世界坐标的映射:
4.根据权利要求1所述的行人异常行为检测方法,其特征在于,所述从至少两路监控视频下的所有视频帧中提取行人的骨骼关键点信息,并获取每个骨骼关键点在同一坐标系下的三维空间坐标信息包括:
基于人体姿态估计模型优化提取m(m≥1)个行人的J个骨骼关键点信息,所述骨骼关键点信息包括关键点的图像坐标(u,v)以及关键点的置信度c;
根据所述至少两路监控视频识别出同一时间戳不同视点下以及不同时间戳同一视点下的同一行人,以所述每个行人的骨骼关键点信息的最小外包矩形作为每个行人的边界框,求解所述边界框底边中点像素坐标的地理坐标,将所述地理坐标作为行人目标地理位置;
基于ResNet重识别特征提取模型提取所述每个行人的边界框下图像的重识别特征;
基于所述行人目标地理位置以及所述重识别特征对至少两个视点下的同一行人进行目标匹配;
通过标定法获取每个视点的投影矩阵p,使用直接线性变换算法将同一行人在不同视点、同一时间戳t下的各个同名关键点j(1≤j≤J)的二维坐标变换为唯一的三维空间坐标对每个骨骼关键点的三维空间坐标进行求解,得到每个骨骼关键点的三维空间坐标信息。
5.根据权利要求4所述的行人异常行为检测方法,其特征在于,所述对每个骨骼关键点的三维空间坐标进行求解包括:
minX‖AX‖
上述公式中,为三维空间坐标,N≥2,为第N个视点的投影矩阵第k行,uN、vN分别为视点N下的骨骼关键点图像坐标分量。
6.根据权利要求5所述的行人异常行为检测方法,其特征在于,所述根据所述每个骨骼关键点的三维空间信息构建所述行人的骨骼关键点时空图包括:
根据所述每个骨骼关键点的三维空间信息以同一行人的骨骼关键点作为该行人骨骼关键点时空图的顶点,每个顶点的特征信息f(f∈R1×4)由同一空间坐标系下的三维坐标系和置信度组成;
根据边连接构建规则对各顶点建立边连接,得到行人骨骼关键点时空图其中,为所述时空图的邻接矩阵;
所述边连接构建规则包括:
对同一视频帧或时间戳下存在人体自然连接结构的骨骼关键点建立边连接;
对时序上相邻的同名骨骼关键点建立边连接。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院深圳先进技术研究院,未经中国科学院深圳先进技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011069611.3/1.html,转载请声明来源钻瓜专利网。