[发明专利]应用于神经网络的内存申请方法、装置及设备在审
申请号: | 202111518556.6 | 申请日: | 2021-12-13 |
公开(公告)号: | CN116339959A | 公开(公告)日: | 2023-06-27 |
发明(设计)人: | 请求不公布姓名 | 申请(专利权)人: | 寒武纪(昆山)信息科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N3/08 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 宋兴;臧建明 |
地址: | 215312 江苏省苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 应用于 神经网络 内存 申请 方法 装置 设备 | ||
本申请提供一种应用于神经网络的内存申请方法、装置及设备,该设备包括:存储器和处理器;其中存储器用于存储处理器可执行指令,处理器用于调用存储器中的程序指令执行应用于神经网络的内存申请方法。本申请提供的应用于神经网络的内存申请方法、装置及设备,优化了内存碎片,有效避免了内存空间的浪费。
技术领域
本申请涉及神经网络技术领域,尤其涉及一种应用于神经网络的内存申请方法、装置及设备。
背景技术
神经网络是一种通过调整系统内部大量节点之间相互连接的关系,而实现信息处理的数学模型。神经网络在训练或推理计算的过程中,需要申请大量的内存以存放运行数据。
目前,常见的内存申请方法为,当目标任务当前运行需要内存时,则向内存管理器发送内存申请指令,以使内存管理器为目标任务分配当前所需内存,并使用内存缓存机制将申请到的内存保留下来,以在目标任务本次运行过程中反复使用。
但是,随着目标任务的运行,目标任务会不断产生新的内存需求,当目标任务产生的新的内存需求大小,大于内存缓存机制保留下来的内存中未被使用的内存大小时,目标任务会重新向内存管理器申请新的内存,也就是说,此前内存缓存机制保留下来的内存中未被使用的内存则无法被利用,从而形成内存碎片,造成内存空间的浪费。
发明内容
本申请提供一种应用于神经网络的内存申请方法、装置及设备,用以优化内存碎片,避免内存空间的浪费。
第一方面,本申请实施例提供一种应用于神经网络的内存申请方法,包括:
接收目标任务发送的第一内存申请请求;其中,所述第一内存申请请求包括目标任务当前运行所需的内存大小;
根据所述目标任务当前运行所需的内存大小,判断所述目标任务的内存需求等级;其中,所述内存需求等级包括低级、中级以及高级;
根据所述目标任务的内存需求等级,确定待申请的内存大小;其中,不同的内存需求等级对应不同的待申请的内存大小;
向内存管理器发送第二内存申请请求,以使所述内存管理器为所述目标任务分配与所述待申请的内存大小相一致的内存;其中,所述第二内存申请请求包括待申请的内存大小。
第二方面,本申请实施例提供一种应用于神经网络的内存申请装置,包括:
接收模块,用于接收目标任务发送的第一内存申请请求;其中,所述第一内存申请请求包括目标任务当前运行所需的内存大小;
判断模块,用于根据所述目标任务当前运行所需的内存大小,判断所述目标任务的内存需求等级;其中,所述内存需求等级包括低级、中级以及高级;
确定模块,用于根据所述目标任务的内存需求等级,确定待申请的内存大小;其中,不同的内存需求等级对应不同的待申请的内存大小;
发送模块,用于向内存管理器发送第二内存申请请求,以使所述内存管理器为所述目标任务分配与所述待申请的内存大小相一致的内存;其中,所述第二内存申请请求包括待申请的内存大小。
第三方面,本申请实施例提供一种处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于寒武纪(昆山)信息科技有限公司,未经寒武纪(昆山)信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111518556.6/2.html,转载请声明来源钻瓜专利网。