[发明专利]一种时-空信息联合的在线学习方法有效
申请号: | 201910480901.8 | 申请日: | 2019-06-04 |
公开(公告)号: | CN110211156B | 公开(公告)日: | 2021-02-12 |
发明(设计)人: | 赵佳琦;马丁;周勇;夏士雄;姚睿;杜文亮;陈莹;朱东郡 | 申请(专利权)人: | 中国矿业大学 |
主分类号: | G06T7/246 | 分类号: | G06T7/246 |
代理公司: | 南京瑞弘专利商标事务所(普通合伙) 32249 | 代理人: | 刘珊珊 |
地址: | 221008 江苏省徐*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 信息 联合 在线 学习方法 | ||
本发明公开了一种时‑空信息联合的在线学习方法,用目标追踪算法与行人搜索算法相互提高效率,交互式地对跟踪网络与行人搜索网络进行训练。本发明的具体步骤如下:(1)输入视频流数据;(2)运行网络进行样本扩充;(3)行人搜索网络与目标追踪网络同时根据网络状态采取动作。本发明将行人搜索网络和目标追踪网络相结合,有着鲁棒性强,运算速度快的优点。
技术领域
本发明涉及一种时-空信息联合的在线学习方法,是一种涉及行人搜索和目标追踪的图像处理技术,利用行人搜索算法和目标追踪算法相互提高效率,交互式地对行人搜索网络和目标追踪网络进行训练。
背景技术
目前在人员密集的公共场所、政府部门、企事业单位、住宅小区、甚至许多居民的家中都装有监控摄像头,为维护社会治安、保障人民生命财产安全提供了可靠的视频监控资源。在视频监控中,由于摄像头的分辨率、拍摄角度等参数变化较大,难以实现高质量人脸图片的稳定获取,使得基于人脸识别技术的目标追踪稳定性较差。相对而言,行人搜索(Person Search)技术可以为视频监控提供鲁棒性更强的目标追踪解决方案。
传统的行人搜索技术分为目标检测和行人重识别两个部分,目标检测的目的是从图片中搜索到感兴趣的目标,并对其进行准确定位,由于目标在不同的角度和距离拍摄下,其形状、姿态和相对大小都有变化,再加上成像时光照、遮挡等因素的干扰,目标检测一直是计算机视觉领域最具有挑战性的问题之一。行人重识别是在图像或视频库中判断特定行人是否存在的一种计算机视觉技术,是在目标检测的基础上对行人的身份进行确认。目前,特征学习、度量学习和生成式对抗网络模型被广泛应用到行人重识别领域。行人搜索技术主要利用了图像的空间结构信息,对视频序列的帧间信息利用率不高。而视频目标追踪技术主要利用视频的帧间信息,对感兴趣的目标进行高效的定位,然而,由于目标的形变、突然运动和环境变化等原因,对目标追踪的性能造成了很大的影响。
国内外学者在目标检测、行人重识别和目标追踪三个方面进行了系统深入的研究,并提出了很多方法。然而,在实际应用场景中,为了增加有效地监控范围,摄像头会被安放在较高位置,导致行人目标在整个监控画面中尺寸较小,同时易受到树木、建筑物等异物地遮挡。在一些人流量大,行人密集地区域,多个行人目标之间也容易产生重叠和遮挡。受监控画面清晰度不高、光照、拍摄角度不同以及行人衣着相似等因素地影响,不同身份的行人也可能具有相似的特征。目标追踪主要处理单摄像头数据,行人搜索可以处理多摄像头的视频数据,更加适应于实际应用场景。目标追踪方法可以为行人搜索提供技术的辅助和方法的借鉴。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种时-空信息联合的在线学习方法,利用目标追踪的时空特性和行人搜索的再识别特性,使用强化学习对行人搜索网络和目标追踪网络进行更新,运算速度较快,且能提高行人搜索和目标追踪的精度及时效性。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种时-空信息联合的在线学习方法,包括如下步骤:
(1)输入视频流数据;
(2)同时运行行人搜索网络和目标追踪网络,包括如下步骤:
(21)使用目标追踪网络对视频流中的追踪目标进行追踪,同时将目标追踪网络的追踪目标同时设定为行人搜索网络的搜索目标;
(22)每隔n帧对搜索目标进行采样,将采样结果按时间顺序保存至扩充样本集C1={c1_t,c1_t-1,c1_t-2,…};每隔n帧对追踪目标进行采样,将采样结果按时间顺序保存至扩充样本集C2={c2_t,c2_t-1,c2_t-2,…};
(3)强化学习策略:
(31)针对目标追踪网络的强化学习,分如下两种情况:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国矿业大学,未经中国矿业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910480901.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:目标跟踪方法及相关装置
- 下一篇:一种基于相关滤波的目标长时跟踪方法
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置