[发明专利]数据处理方法、装置和计算机可读存储介质在审
申请号: | 201910443824.9 | 申请日: | 2019-05-27 |
公开(公告)号: | CN112001476A | 公开(公告)日: | 2020-11-27 |
发明(设计)人: | 张炜;郑凯夫;梅涛 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 中国贸促会专利商标事务所有限公司 11038 | 代理人: | 孙玉;许蓓 |
地址: | 100086 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 计算机 可读 存储 介质 | ||
1.一种数据处理方法,包括:
利用训练样本对深度学习网络的至少一次迭代训练,直至满足迭代停止条件;
其中,在每次迭代训练中执行以下方法:
读取当前存储的所述深度学习网络的网络参数的值,利用训练样本对所述网络参数的值进行更新;
根据更新后的各个网络参数的值与阈值的比对结果,对所述网络参数的值的数据量进行压缩;
将当前存储的所述网络参数的值,替换为压缩后的所述网络参数的值进行存储。
2.根据权利要求1所述的数据处理方法,
所述根据更新后的各个网络参数的值与阈值的比对结果,对所述网络参数的值的数据量进行压缩包括:
将更新后的各个网络参数值与所述阈值进行比对,将小于阈值的网络参数的值删除,或者将小于阈值的网络参数的值利用一个预设值表示。
3.根据权利要求1所述的数据处理方法,其中,
所述阈值根据各个网络参数的值中的最大值和调整因子确定。
4.根据权利要求1所述的数据处理方法,还包括:
根据当前存储的所述网络参数的值对所述网络参数进行聚类,得到一个或多个类;
针对每一个类,将该类中的网络参数的值更新为对应的聚类中心的编码,以便对所述网络参数的值的数据量进行压缩。
5.根据权利要求4所述的数据处理方法,其中,
所述根据各个网络参数的值对所述网络参数进行聚类包括:
每次根据各个网络参数到当前聚类中心的距离,确定各个网络参数所属的类,针对每个类,根据该类中各个网络参数到原点的距离以及各个网络参数的值更新当前聚类中心,直至满足收敛条件。
6.根据权利要求4所述的数据处理方法,其中,
各个聚类中心的编码采用以下方法进行确定:
根据聚类中心的个数确定编码位数;
根据编码位数对各个聚类中心进行编码。
7.一种数据处理装置,包括:
网络参数更新模块,用于在对深度学习网络的每次迭代训练中,读取当前存储的所述深度学习网络的网络参数的值,利用训练样本对所述网络参数的值进行更新;
网络参数压缩模块,用于在每次迭代训练中,根据更新后的各个网络参数的值与阈值的比对结果,对所述网络参数的值的数据量进行压缩;
网络参数存储模块,用于在每次迭代训练中,将当前存储的所述网络参数的值,替换为压缩后的所述网络参数的值进行存储;
其中,所述深度学习网络利用利用训练样本进行至少一次迭代训练,直至满足迭代停止条件。
8.根据权利要求7所述的数据处理装置,其中,
所述网络参数压缩模块,用于将更新后的各个网络参数值与所述阈值进行比对,将小于阈值的网络参数的值删除,或者将小于阈值的网络参数的值利用一个预设值表示。
9.根据权利要求7所述的数据处理装置,其中,
所述阈值根据各个网络参数的值中的最大值和调整因子确定。
10.根据权利要求7所述的数据处理装置,还包括:
聚类模块,用于根据当前存储的所述网络参数的值对所述网络参数进行聚类,得到一个或多个类;
网络参数编码模块,用于针对每一个类,将该类中的网络参数的值更新为对应的聚类中心的编码,以便对所述网络参数的值的数据量进行压缩。
11.根据权利要求10所述的数据处理装置,其中,
所述聚类模块用于每次根据各个网络参数到当前聚类中心的距离,确定各个网络参数所属的类,针对每个类,根据该类中各个网络参数到原点的距离以及各个网络参数的值更新当前聚类中心,直至满足收敛条件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910443824.9/1.html,转载请声明来源钻瓜专利网。