[发明专利]一种基于RGB-D图像的视觉语义关系检测方法有效
申请号: | 202010126145.1 | 申请日: | 2020-02-28 |
公开(公告)号: | CN111368829B | 公开(公告)日: | 2023-06-30 |
发明(设计)人: | 甘明刚;刘晓舟;陈杰;窦丽华 | 申请(专利权)人: | 北京理工大学 |
主分类号: | G06V10/25 | 分类号: | G06V10/25;G06V10/80;G06V10/764 |
代理公司: | 北京理工大学专利中心 11120 | 代理人: | 温子云 |
地址: | 100081 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 rgb 图像 视觉 语义 关系 检测 方法 | ||
1.一种基于RGB-D图像的视觉语义关系检测方法,其特征在于,包括:
步骤1、提取图像的RGB特征向量的同时估计出图像的深度图并提取对应的深度特征向量,将RGB特征向量与深度特征向量相融合;
本步骤为:提取图像的候选区域,每个候选区域对应一个物体;对选取的候选区域ROI进行两两的遍历组合,形成多组主客体图像对;针对每一组主客体图像对,提取RGB特征向量与深度特征向量并进行融合;
其中,所述RGB特征向量包括RGB外表特征向量AFlat和平面空间特征向量SFlat;
RGB外表特征向量AFlat的提取方式为:采用RGB Faster-R-CNN对所述主客体图像对进行处理,从RGB Faster-R-CNN中全连接层的第7层提取特征向量,得到主体的RGB外表特征向量AFlat-s和客体的RGB外表特征向量AFlat-o;
所述平面空间特征向量SFlat由主客体ROI的相对位置、主客体ROI的面积比、主客体ROI的重合率、主体ROI的长宽比、客体ROI的长宽比组成,并进行维度扩充,得到平面空间特征向量SFlat;
所述深度特征向量包括深度外表特征向量ADepth和深度空间特征向量SDepth;
所述深度外表特征向量ADepth的提取方式为:采用深度图估计模型估计出图像的深度图,再将所述主客体图像的ROI输入到深度Faster-R-CNN中,用于在所述深度图中定位出主体和客体,然后由深度Faster-R-CNN中全连接层的第7层提取特征向量,得到主体的深度外表特征向量ADepth-s和客体的深度外表特征向量ADepth-o;
所述深度空间特征向量SDepth的提取方式为:计算主体ROI和客体ROI中平均深度值之差ΔD,将深度空间特征向量表示为多维向量,每一维对应一种远近程度,每一维元素值定义为ΔD属于对应远近程度的隶属度;
步骤2、将融合的特征向量输入视觉语义关系分类器,所述视觉语义关系分类器设计为同时处理RGB特征向量与深度特征向量并弱化深度特征向量部分,得到视觉语义关系检测结果。
2.如权利要求1所述的方法,其特征在于,所述平面空间特征向量SFlat表征为:
其中,SFlat(Bs,Bo)表示主体ROI Bs和客体ROI Bo的平面空间特征向量,S1和S2表示主客体ROI的相对位置,S3表示主客体ROI的面积比,S4表示主客体ROI的重合率,S5表示主体ROI的长宽比,S6表示客体ROI的长宽比;Bs=[xs,ys,ws,hs],Bo=[xo,yo,wo,ho],(x,y)是ROI的中心点坐标,(w,h)是ROI的宽和高,下角标s表示主体,下角标o表示客体。
3.如权利要求1所述的方法,其特征在于,将深度空间特征向量表示为3维向量,则深度空间特征向量SDepth表示为:
其中,b是设定的深度分界点。
4.如权利要求1所述的方法,其特征在于,所述提取图像的候选区域ROI是将待检测图像输入所述RGB Faster-R-CNN并通过网络中间层提取出来的。
5.如权利要求1所述的方法,其特征在于,步骤1中,所述将RGB特征向量与深度特征向量相融合为:将RGB特征向量和深度特征向量首尾连接。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京理工大学,未经北京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010126145.1/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序