[发明专利]一种基于RGB-D图像的视觉语义关系检测方法有效

专利信息
申请号: 202010126145.1 申请日: 2020-02-28
公开(公告)号: CN111368829B 公开(公告)日: 2023-06-30
发明(设计)人: 甘明刚;刘晓舟;陈杰;窦丽华 申请(专利权)人: 北京理工大学
主分类号: G06V10/25 分类号: G06V10/25;G06V10/80;G06V10/764
代理公司: 北京理工大学专利中心 11120 代理人: 温子云
地址: 100081 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 rgb 图像 视觉 语义 关系 检测 方法
【权利要求书】:

1.一种基于RGB-D图像的视觉语义关系检测方法,其特征在于,包括:

步骤1、提取图像的RGB特征向量的同时估计出图像的深度图并提取对应的深度特征向量,将RGB特征向量与深度特征向量相融合;

本步骤为:提取图像的候选区域,每个候选区域对应一个物体;对选取的候选区域ROI进行两两的遍历组合,形成多组主客体图像对;针对每一组主客体图像对,提取RGB特征向量与深度特征向量并进行融合;

其中,所述RGB特征向量包括RGB外表特征向量AFlat和平面空间特征向量SFlat

RGB外表特征向量AFlat的提取方式为:采用RGB Faster-R-CNN对所述主客体图像对进行处理,从RGB Faster-R-CNN中全连接层的第7层提取特征向量,得到主体的RGB外表特征向量AFlat-s和客体的RGB外表特征向量AFlat-o

所述平面空间特征向量SFlat由主客体ROI的相对位置、主客体ROI的面积比、主客体ROI的重合率、主体ROI的长宽比、客体ROI的长宽比组成,并进行维度扩充,得到平面空间特征向量SFlat

所述深度特征向量包括深度外表特征向量ADepth和深度空间特征向量SDepth

所述深度外表特征向量ADepth的提取方式为:采用深度图估计模型估计出图像的深度图,再将所述主客体图像的ROI输入到深度Faster-R-CNN中,用于在所述深度图中定位出主体和客体,然后由深度Faster-R-CNN中全连接层的第7层提取特征向量,得到主体的深度外表特征向量ADepth-s和客体的深度外表特征向量ADepth-o

所述深度空间特征向量SDepth的提取方式为:计算主体ROI和客体ROI中平均深度值之差ΔD,将深度空间特征向量表示为多维向量,每一维对应一种远近程度,每一维元素值定义为ΔD属于对应远近程度的隶属度;

步骤2、将融合的特征向量输入视觉语义关系分类器,所述视觉语义关系分类器设计为同时处理RGB特征向量与深度特征向量并弱化深度特征向量部分,得到视觉语义关系检测结果。

2.如权利要求1所述的方法,其特征在于,所述平面空间特征向量SFlat表征为:

其中,SFlat(Bs,Bo)表示主体ROI Bs和客体ROI Bo的平面空间特征向量,S1和S2表示主客体ROI的相对位置,S3表示主客体ROI的面积比,S4表示主客体ROI的重合率,S5表示主体ROI的长宽比,S6表示客体ROI的长宽比;Bs=[xs,ys,ws,hs],Bo=[xo,yo,wo,ho],(x,y)是ROI的中心点坐标,(w,h)是ROI的宽和高,下角标s表示主体,下角标o表示客体。

3.如权利要求1所述的方法,其特征在于,将深度空间特征向量表示为3维向量,则深度空间特征向量SDepth表示为:

其中,b是设定的深度分界点。

4.如权利要求1所述的方法,其特征在于,所述提取图像的候选区域ROI是将待检测图像输入所述RGB Faster-R-CNN并通过网络中间层提取出来的。

5.如权利要求1所述的方法,其特征在于,步骤1中,所述将RGB特征向量与深度特征向量相融合为:将RGB特征向量和深度特征向量首尾连接。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京理工大学,未经北京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010126145.1/1.html,转载请声明来源钻瓜专利网。

同类专利
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top