[发明专利]基于属性定位与关联的行人属性识别方法及系统有效
申请号: | 202110540829.0 | 申请日: | 2021-05-18 |
公开(公告)号: | CN113239820B | 公开(公告)日: | 2023-06-27 |
发明(设计)人: | 雷震;杨阳;翁敦芳 | 申请(专利权)人: | 中国科学院自动化研究所 |
主分类号: | G06V40/10 | 分类号: | G06V40/10;G06V10/774;G06V10/80;G06V10/44;G06V10/82;G06N3/0464;G06N3/048 |
代理公司: | 北京市恒有知识产权代理事务所(普通合伙) 11576 | 代理人: | 郭文浩;尹文会 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 属性 定位 关联 行人 识别 方法 系统 | ||
1.一种基于属性定位与关联的行人属性识别方法,其特征在于,该行人属性识别方法包括:
步骤S10,获取待属性识别的行人图像,并通过特征提取网络进行所述行人图像的特征提取,获得待属性识别的行人特征图;
步骤S20,通过设定的一组不同属性分类的多分枝的属性定位网络,分别获取所述待属性识别的行人特征图对应的一组不同属性的特征向量,包括:
步骤S21,通过并行的一个提取高度维度的位置注意力机制和一个提取宽度维度的位置注意力机制分别获取第一特征图和第二特征图;
所述提取高度维度的位置注意力机制,其结构为:
顺次连接的一个池化核为1×W的平均池化层、一个卷积核为1的卷积层、一个批归一化与线性激活层、一个卷积核为1的卷积层和一个sigmoid激活函数;
所述提取宽度维度的位置注意力机制,其结构为:
顺次连接的一个池化核为H×1的平均池化层、一个卷积核为1的卷积层、一个批归一化与线性激活层、一个卷积核为1的卷积层和一个sigmoid激活函数;
步骤S22,基于所述行人特征图对所述第一特征图与进行高度维度编码增强,获得第三特征图;基于所述行人特征图对所述第二特征图进行宽度维度编码增强,获得第四特征图;
步骤S23,融合所述第三特征图和所述第四特征图后,通过r个并行的信道切分注意力机制获取r个特征向量;其中,r为信道维度切分数量;
步骤S24,将所述r个特征向量依次通过连接层、softmax分类层后,基于所述行人特征图进行高度和宽度维度编码,并通过全连接层后,获得所述属性定位网络对应的特征向量;
步骤S30,基于所述一组不同属性的特征向量,采用属性关联网络通过transformer学习行人属性之间的关联性,获得关联属性特征图;
步骤S40,基于所述关联属性特征图,通过分类器获取行人的属性类别。
2.根据权利要求1所述的基于属性定位与关联的行人属性识别方法,其特征在于,所述信道切分注意力机制,其结构为:
顺次连接的一个卷积核为1的卷积层、一个批归一化与线性激活层、一个卷积核为1的卷积层和一个sigmoid激活函数。
3.根据权利要求1所述的基于属性定位与关联的行人属性识别方法,其特征在于,所述属性关联网络包括交替的多头注意力机制和MLP块;
所述多头注意力机制和所述MLP块之前分别设置一个layer正则化层;
所述多头注意力机制和所述MLP多层感知机之后通过残差连接。
4.根据权利要求3所述的基于属性定位与关联的行人属性识别方法,其特征在于,所述MLP块为包含了两个非线性函数GELU的层。
5.一种基于属性定位与关联的行人属性识别系统,其特征在于,该行人属性识别系统包括以下模块:
输入模块,配置为获取待属性识别的行人图像并输入;
特征提取模块,配置为通过特征提取网络进行所述行人图像的特征提取,获得待属性识别的行人特征图;
多分枝属性定位模块,配置为通过设定的一组不同属性分类的多分枝的属性定位网络,分别获取所述待属性识别的行人特征图对应的一组不同属性的特征向量,包括:
通过并行的一个提取高度维度的位置注意力机制和一个提取宽度维度的位置注意力机制分别获取第一特征图和第二特征图;
所述提取高度维度的位置注意力机制,其结构为:
顺次连接的一个池化核为1×W的平均池化层、一个卷积核为1的卷积层、一个批归一化与线性激活层、一个卷积核为1的卷积层和一个sigmoid激活函数;
所述提取宽度维度的位置注意力机制,其结构为:
顺次连接的一个池化核为H×1的平均池化层、一个卷积核为1的卷积层、一个批归一化与线性激活层、一个卷积核为1的卷积层和一个sigmoid激活函数;
基于所述行人特征图对所述第一特征图与进行高度维度编码增强,获得第三特征图;基于所述行人特征图对所述第二特征图进行宽度维度编码增强,获得第四特征图;
融合所述第三特征图和所述第四特征图后,通过r个并行的信道切分注意力机制获取r个特征向量;其中,r为信道维度切分数量;
将所述r个特征向量依次通过连接层、softmax分类层后,基于所述行人特征图进行高度和宽度维度编码,并通过全连接层后,获得所述属性定位网络对应的特征向量;
属性关联模块,配置为基于所述一组不同属性的特征向量,采用属性关联网络通过transformer学习行人属性之间的关联性,获得关联属性特征图;
分类模块,配置为基于所述关联属性特征图,通过分类器获取行人的属性类别。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所,未经中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110540829.0/1.html,转载请声明来源钻瓜专利网。