[发明专利]数据处理方法、设备和可读存储介质在审
申请号: | 201910828500.7 | 申请日: | 2019-09-03 |
公开(公告)号: | CN110717589A | 公开(公告)日: | 2020-01-21 |
发明(设计)人: | 高源;付英波;蔡子翔;姚聪 | 申请(专利权)人: | 北京旷视科技有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 11319 北京润泽恒知识产权代理有限公司 | 代理人: | 莎日娜 |
地址: | 100190 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基本单元 网络模型 子网络 神经网络模型 神经网络 数据处理 可读存储介质 数据处理设备 测试流程 处理数据 共享参数 计算资源 接收输入 开发过程 训练过程 输出 共享 | ||
1.一种基于神经网络模型的数据处理方法,其特征在于,所述神经网络模型包括多个基本单元和多个子网络模型,其中每个子网络模型包括所述多个基本单元中的至少部分基本单元,且所述多个子网络模型中的至少两个子网络模型共享所述多个基本单元中的一个或多个基本单元,
该数据处理方法包括:
接收输入的数据;
经由所述神经网络模型的至少一个子网络模型,处理所述数据;
输出对所述数据的处理结果。
2.如权利要求1所述的数据处理方法,其特征在于,所述神经网络模型的每个基本单元是残差模块。
3.如权利要求1或2所述的数据处理方法,其特征在于,
所述多个基本单元中至少两个基本单元的宽度和/或卷积核大小不同。
4.如权利要求2所述的数据处理方法,其特征在于,每个所述基本单元包括三个卷积层,其中,第一层和第三层卷积层为普通卷积层,第二层卷积层为深度可分离卷积层。
5.如权利要求4所述的数据处理方法,其特征在于,每个所述基本单元包括:依次连接的第一普通卷积层、第一归一化层、第一非线性激活层、深度可分离卷积层、第二归一化层、第二非线性激活层、第三普通卷积层和第三归一化层。
6.如权利要求5所述的数据处理方法,其特征在于,所述第一普通卷积层和所述第三普通卷积层的卷积核大小为1×1,所述深度可分离卷积层的卷积核大小为3×3或5×5,所述深度可分离卷积层的通道数为每个所述基本单元的输入通道数的3倍或6倍。
7.如权利要求1~6中的任意一项所述的数据处理方法,其特征在于,使用如下方式对所述神经网络模型和所述多个子网络模型进行训练:
初始化所述神经网络模型的所有参数;
针对每一个子网络模型得到该子网络模型的用于修正其训练参数的反向传播误差;
将所述多个子网络模型的反向传播误差累加;
将累加的反向传播误差进行反向传播以更新所述神经网络模型的参数,由此更新所述多个子网络模型的参数。
8.如权利要求1~7中的任意一项所述的数据处理方法,其特征在于,该数据处理方法还包括:
获取目标索引值并将所述目标索引值输入所述神经网络模型,所述目标索引值用于选通激活所述至少一个子网络模型,且所述至少一个子网络模型为所述多个子网络模型中适合当前设备的子网络模型。
9.如权利要求8所述的数据处理方法,其特征在于,所述目标索引值是采用如下方法确定的:
为所述神经网络模型设置多个索引值,每个索引值用于选通激活所述多个子网络模型中的一个子网络模型;
分别在所述神经网络模型中输入每个子网络模型对应的索引值和待测数据,得到每个子网络模型的预测结果,并确定不同子网络模型的计算精度以及在当前设备上的耗时;
基于所述精度和所述耗时选择适合所述当前设备且计算精度相对较高的子网络模型对应的所述目标索引值。
10.如权利要求1至9中任一项所述的数据处理方法,其特征在于,所述至少一个子网络模型为N个子网络模型,N为大于1且小于或等于t的整数,t为所述神经网络模型中子网络模型的数量,
所述输出对所述数据的处理结果还包括:
在输入的数据经由所述N个子网络模型分别进行处理,得到N个预测结果之后,通过投票机制对得到的所述N个预测结果进行投票,以进一步确定最终的预测结果,并将所述最终的预测结果作为所述数据的处理结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京旷视科技有限公司,未经北京旷视科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910828500.7/1.html,转载请声明来源钻瓜专利网。