[发明专利]数据处理方法、计算机系统及存储介质有效
申请号: | 201811580866.9 | 申请日: | 2018-12-24 |
公开(公告)号: | CN111353592B | 公开(公告)日: | 2022-12-02 |
发明(设计)人: | 不公告发明人 | 申请(专利权)人: | 上海寒武纪信息科技有限公司 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;H03M7/30 |
代理公司: | 北京华进京联知识产权代理有限公司 11606 | 代理人: | 王程 |
地址: | 200120 上海市浦*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 计算机系统 存储 介质 | ||
本申请涉及一种数据处理方法、计算机系统和存储介质,通过终端与云端服务器协同的方式,并在云端服务器实现对神经网络的训练或重训练过程,可以降低终端的运算量。同时,终端和云端服务器之间的传送的数据均为有损压缩编码后获得数据,从而可以减少数据的访存开销,提高该计算机系统的性能。
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据处理方法、计算机系统及存储介质。
背景技术
随着人工智能技术的快速发展,神经网络在图像、语音以及文字等具有海量数据的领域已经有了广泛而成功的应用。
一般地,神经网络运算(如人工神经网络运算)的运算过程往往会涉及较大的数据量,运算过程中涉及的大量的输入数据(如输入神经元数据)以及中间数据均存储在片外存储单元中,运算过程中需要该片外存储单元中的输入数据等搬运至片上存储单元,以便运算单元实现相应的运算操作,因而神经网络运算的过程中将会存在大量的访存操作。但受制于处理器的访存带宽的限制,频繁的访存操作会降低运算的效率,访存开销成为机器学习处理器设计中的瓶颈。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高处理器的运算速度及效率的数据处理方法、计算机系统和存储介质。
一种数据处理方法,所述方法包括如下步骤:
第一处理器根据获取的神经网络的输入数据进行正向运算,获得第一正向运算结果;
若所述第一处理器确定所述第一正向运算结果不满足预设需求,则所述第一处理器对所述输入数据进行有损压缩编码,并将所述有损压缩编码后的输入数据传送至第二处理器;
所述第二处理器对所述有损压缩编码的输入数据进行解压缩,并根据所述有损压缩编码的输入数据对所述神经网络进行训练或重训练,直至所述第二处理器获得的第二正向运算结果满足所述预设需求。
在其中一个实施例中,所述方法还包括如下步骤:
所述第一处理器根据所述第一正向运算结果与预设的目标运算结果,获得第一损失函数;
若所述第一损失函数的值小于预设的目标精度,则所述第一处理器确定所述第一正向运算结果满足所述预设需求;
若所述第一损失函数的值大于或等于所述预设的目标精度,则所述第一处理器确定所述第一正向运算结果不满足所述预设需求。
在其中一个实施例中,所述第二处理器根据所述有损压缩编码后的输入数据对所述神经网络进行训练或重训练,直至所述第二处理器获得的第二正向运算结果满足所述预设需求的步骤,包括:
所述第二处理器根据所述有损压缩编码的输入数据进行正向运算,获得第二正向运算结果;
所述第二处理器根据所述第二正向运算结果确定第二损失函数;
若所述第二损失函数的值大于或等于预设的目标精度,则根据所述第二损失函数进行反向运算,获得梯度值;
所述第二处理器根据所述梯度值更新所述有损压缩编码后的输入数据的权值数据,获得更新后的权值数据,之后,返回所述第二处理器根据所述有损压缩编码后的输入数据进行正向运算,获得第二正向运算结果的步骤,直至所述第二正向运算结果满足所述预设需求。
在其中一个实施例中,所述第一处理器对所述输入数据进行有损压缩编码,并将所述有损压缩编码的输入数据传送至第二处理器的步骤,包括:
所述第一处理器根据所述预设的目标精度确定目标压缩率;
所述第一处理器根据所述目标压缩率对所述输入数据以及所述第一损失函数进行有损压缩编码,获得交互数据,并将所述交互数据传送至所述第二处理器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海寒武纪信息科技有限公司,未经上海寒武纪信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811580866.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种进程通讯方法和装置
- 下一篇:一种用于定位的方法、装置和电子设备