[发明专利]一种数据处理方法及装置有效
申请号: | 201811012643.2 | 申请日: | 2018-08-31 |
公开(公告)号: | CN110874625B | 公开(公告)日: | 2023-10-27 |
发明(设计)人: | 张渊;谢迪;浦世亮 | 申请(专利权)人: | 杭州海康威视数字技术股份有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 林祥 |
地址: | 310051 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 | ||
1.一种深度神经网络量化方法,其特征在于,所述方法包括:
获取深度神经网络中的待量化数据层,其中,所述待量化数据层包括参数层和/或激活量;
根据所述待量化数据层中各待量化数据与预设阈值的大小关系,将所述待量化数据层划分为小值区域及大值区域,其中,所述小值区域中的各待量化数据小于所述大值区域中的各待量化数据;
分别对所述小值区域中各待量化数据以及所述大值区域中各待量化数据进行量化,得到量化后的待量化数据层。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待量化数据层中各待量化数据与预设阈值的大小关系,将所述待量化数据层划分为小值区域及大值区域,包括:
将所述待量化数据层中小于或等于预设阈值的待量化数据划分为小值区域,并将所述待量化数据层中大于所述预设阈值的待量化数据划分为大值区域;
或者,
将所述待量化数据层中小于所述预设阈值的待量化数据划分为小值区域,并将所述待量化数据层中大于或等于所述预设阈值的待量化数据划分为大值区域。
3.根据权利要求1所述的方法,其特征在于,所述分别对所述小值区域中各待量化数据以及所述大值区域中各待量化数据进行量化,包括:
将所述小值区域中各待量化数据量化至第一预设比特数,并将所述大值区域中各待量化数据量化至第二预设比特数,其中,所述第二预设比特数大于或等于所述第一预设比特数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述待量化数据层中各待量化数据与预设阈值的大小关系,将所述待量化数据层划分为小值区域及大值区域,包括:
将所述待量化数据层中小于或等于预设阈值的待量化数据划分为小值区域,并将所述待量化数据层中大于所述预设阈值的待量化数据划分为大值区域;
所述分别对所述小值区域中各待量化数据以及所述大值区域中各待量化数据进行量化,包括:
将所述小值区域中各待量化数据量化至第一预设比特数;
分别计算所述大值区域中各待量化数据与所述预设阈值的残差,并将各残差量化至所述第一预设比特数。
5.根据权利要求1所述的方法,其特征在于,在所述根据所述待量化数据层中各待量化数据与预设阈值的大小关系,将所述待量化数据层划分为小值区域及大值区域之后,所述方法还包括:
对所述小值区域中各待量化数据标记第一预设标签,并对所述大值区域中各待量化数据标记第二预设标签。
6.根据权利要求5所述的方法,其特征在于,所述对所述小值区域中各待量化数据标记第一预设标签,并对所述大值区域中各待量化数据标记第二预设标签,包括:
利用与所述待量化数据层大小一致的掩膜单元对所述待量化数据层进行标记,其中,所述掩膜单元中,与所述小值区域中各待量化数据相同位的数值为0、与所述大值区域中各待量化数据相同位的数值为1。
7.一种深度神经网络量化装置,其特征在于,所述装置包括:
获取模块,用于获取深度神经网络中的待量化数据层,其中,所述待量化数据层包括参数层和/或激活量;
划分模块,用于根据所述待量化数据层中各待量化数据与预设阈值的大小关系,将所述待量化数据层划分为小值区域及大值区域,其中,所述小值区域中的各待量化数据小于所述大值区域中的各待量化数据;
量化模块,用于分别对所述小值区域中各待量化数据以及所述大值区域中各待量化数据进行量化,得到量化后的待量化数据层。
8.根据权利要求7所述的装置,其特征在于,所述划分模块,具体用于:
将所述待量化数据层中小于或等于预设阈值的待量化数据划分为小值区域,并将所述待量化数据层中大于所述预设阈值的待量化数据划分为大值区域;
或者,
将所述待量化数据层中小于所述预设阈值的待量化数据划分为小值区域,并将所述待量化数据层中大于或等于所述预设阈值的待量化数据划分为大值区域。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811012643.2/1.html,转载请声明来源钻瓜专利网。