[发明专利]应用于卷积神经网络的数据处理方法、装置及设备在审
申请号: | 202111022274.7 | 申请日: | 2021-09-01 |
公开(公告)号: | CN113655990A | 公开(公告)日: | 2021-11-16 |
发明(设计)人: | 不公告发明人 | 申请(专利权)人: | 中科寒武纪科技股份有限公司 |
主分类号: | G06F7/523 | 分类号: | G06F7/523;G06F17/16;G06N3/04;G06N3/08 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 张芳;黄健 |
地址: | 100191 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 应用于 卷积 神经网络 数据处理 方法 装置 设备 | ||
1.一种应用于卷积神经网络的数据处理方法,其特征在于,所述卷积神经网络中的至少一层设有通道注意力结构;所述数据处理方法包括:
接收当前层的输入特征数据,并对所述的输入特征数据进行卷积计算,得到当前层的初始输出特征数据;
若当前层设有通道注意力结构,则向所述通道注意力结构输入所述输入特征数据,以获得通道相关性矩阵;其中,所述通道注意力结构通过对所述输入特征数据执行预定处理,输出所述通道相关性矩阵;其中,所述通道相关性矩阵表征当前层的通道在不同的共享卷积核下变换结果的相似性程度;
将所述初始输出特征数据与所述通道相关性矩阵的相乘结果,作为当前层的最终输出特征数据。
2.根据权利要求1所述的方法,其特征在于,所述通道注意力结构用于执行以下处理:
针对每个共享卷积核,计算所述共享卷积核与当前层通道的输入特征数据的卷积结果;
对不同共享卷积核对应的卷积结果进行点积计算,获得所述通道相关性矩阵。
3.根据权利要求2所述的方法,其特征在于,所述针对每个共享卷积核,计算所述共享卷积核与当前层通道的输入特征数据的卷积结果之后,还包括:
针对每个共享卷积核,计算所述共享卷积核与当前层通道的输入特征数据的卷积结果,获得不同共享卷积核对应的特征图组;
分别将不同共享卷积核对应的特征图组在空间维度上展开,获得不同共享卷积核对应的中间结果;
所述对不同共享卷积核对应的卷积结果进行点积计算,获得所述通道相关性矩阵,包括:
对不同共享卷积核对应的中间结果进行点积计算,获得点积计算结果,并对所述点积计算结果在空间维度上折叠,获得所述通道相关性矩阵。
4.根据权利要求3所述的方法,其特征在于,所述共享卷积核的数量为三个;所述对不同共享卷积核对应的中间结果进行点积计算,获得点积计算结果,包括:
确定所述不同共享卷积核中的第一共享卷积核和第二共享卷积核;
计算所述第一共享卷积核对应的中间结果和所述第二共享卷积核对应的中间结果的点积,获得第一点积结果;
基于Softmax函数,对所述第一点积结果进行处理,获得相关系数;
计算所述相关系数与第三共享卷积核对应的中间结果的点积,获得第二点积结果;
基于Sigmoid函数,对所述第二点积结果进行处理,获得所述点积计算结果。
5.根据权利要求1所述的方法,其特征在于,将所述初始输出特征数据与所述通道相关性矩阵相乘之前,还包括:
根据初始输出特征数据对应的矩阵尺寸,对通道相关性矩阵进行上采样;上采样后的通道相关性矩阵与初始输出特征数据的尺寸一致。
6.根据权利要求1所述的方法,其特征在于,所述共享卷积核的步长不大于所述输入特征数据的宽度;其中,所述输入特征数据的宽度小于或等于所述输入特征数据的长度。
7.根据权利要求1所述的方法,其特征在于,所述共享卷积核的深度不大于所述输入特征数据的深度。
8.根据权利要求1所述的方法,其特征在于,所述卷积神经网络中设有通道注意力结构的层对应的卷积核的维度大于1。
9.一种应用于卷积神经网络的数据处理装置,其特征在于,所述卷积神经网络中的至少一层设有通道注意力结构;所述数据处理装置包括:
计算模块,用于接收当前层的输入特征数据,并对所述的输入特征数据进行卷积计算,得到当前层的初始输出特征数据;
输入模块,用于若当前层设有通道注意力结构,则向所述通道注意力结构输入所述输入特征数据,以获得通道相关性矩阵;其中,所述通道注意力结构通过对所述输入特征数据执行预定处理,输出所述通道相关性矩阵;其中,所述通道相关性矩阵表征当前层的通道在不同的共享卷积核下变换结果的相似性程度;
处理模块,用于将所述初始输出特征数据与所述通道相关性矩阵的相乘结果,作为当前层的最终输出特征数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中科寒武纪科技股份有限公司,未经中科寒武纪科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111022274.7/1.html,转载请声明来源钻瓜专利网。