[发明专利]一种基于机器视觉的内窥镜器械跟踪方法在审
申请号: | 201910396273.5 | 申请日: | 2019-05-14 |
公开(公告)号: | CN110211152A | 公开(公告)日: | 2019-09-06 |
发明(设计)人: | 孙志刚;刘奇奇;庞东钢;肖力;王卓 | 申请(专利权)人: | 华中科技大学 |
主分类号: | G06T7/246 | 分类号: | G06T7/246 |
代理公司: | 华中科技大学专利中心 42201 | 代理人: | 曹葆青;李智 |
地址: | 430074 湖北*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 内窥镜器械 检测 跟踪 基于机器 训练集 帧图像 分组 算法 视频 视觉 图像 鲁棒性要求 内窥镜检测 实时性要求 迭代训练 目标跟踪 网络结构 后续帧 保证 重复 | ||
1.一种基于机器视觉的内窥镜器械跟踪方法,其特征在于,包括:
(1)在包含内窥镜器械的图像中对内窥镜器械的类别、位置和大小进行标记,得到训练集;
(2)将所述训练集输入到搭建好的YOLOv2网络结构中进行迭代训练,得到用于检测内窥镜器械位置和大小的内窥镜器械检测模型;
(3)从待检测视频中获取第一帧图像;
(4)将获取到的帧图像输入到训练好的内窥镜器械检测模型中进行检测;
(5)判断是否检测到内窥镜器械,若是,则进入步骤(6),若否,则获取待检测视频的下一帧图像,并返回步骤(4);
(6)基于检测得到的内窥镜器械位置,使用KCF算法对后续n-1帧图像进行目标跟踪;
(7)对剩余未检测视频循环执行步骤(3)至(6)直至待测视频结束;
其中,n为预设的分组参数。
2.根据权利要求1所述的一种基于机器视觉的内窥镜器械跟踪方法,其特征在于,所述内窥镜器械的类别包括:直角分离钳、马里兰分离钳、夹持钳、防损伤抓钳、电钩、穿刺头和弯剪。
3.根据权利要求1或2所述的一种基于机器视觉的内窥镜器械跟踪方法,其特征在于,所述预设的分组参数根据实时性速度要求、YOLOv2平均检测速度和KCF平均跟踪速度计算得到。
4.根据权利要求3所述的一种基于机器视觉的内窥镜器械跟踪方法,其特征在于,所述预设的分组参数具体由1000n/(t1+nt2)=m计算得到;其中,n为预设的分组参数,m为实时性速度要求,t1为YOLOv2平均检测速度,t2为KCF平均跟踪速度。
5.根据权利要求1所述的一种基于机器视觉的内窥镜器械跟踪方法,其特征在于,步骤(6)所述利用KCF算法对后续n-1帧图像进行目标跟踪,具体包括:
(6.1)使用尺度池确定不同大小的尺度框;
(6.2)对不同大小的尺度框分别训练相关滤波器,得到每种大小尺度框对应的置信图;
(6.3)比较所有置信图响应,将响应最大的置信图对应位置作为跟踪位置。
6.根据权利要求5所述的一种基于机器视觉的内窥镜器械跟踪方法,其特征在于,步骤(6.2)中所述对不同大小的尺度框分别训练相关滤波器,得到每种大小尺度框对应的置信图,具体为:
通过提取CN特征与fHOG特征,对不同大小的尺度框分别训练相关滤波器,得到每种大小尺度框对应的置信图。
7.根据权利要求6所述的一种基于机器视觉的内窥镜器械跟踪方法,其特征在于,所述CN特征与fHOG特征的融合方式为前期融合。
8.根据权利要求1-7任一项所述的一种基于机器视觉的内窥镜器械跟踪方法,其特征在于,步骤(6)中所述利用KCF算法对后续n-1帧图像进行目标跟踪,还包括:使用GPU对KCF算法进行加速。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华中科技大学,未经华中科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910396273.5/1.html,转载请声明来源钻瓜专利网。