[发明专利]用于电子设备的内存优化方法和设备

说明书

提供一种用于电子设备的内存优化方法和设备，其中，所述方法包括：(A)将神经网络模型的层以多种组合方式进行分组，以得到多种分组结果，其中，每种分组结果包括至少两个组；(B)估计在每种分组结果下运行所述神经网络模型所需的运算资源；(C)从所述多种分组结果中筛选出使用运算资源最小的分组结果；(D)根据筛选出的分组结果所包括的每个组的执行顺序，在当前组的执行过程中加载所述当前组之后的下一组到相应的预设缓存区，以运行所述神经网络模型。根据所述方法和设备，能够有效降低神经网络执行过程中对内存的消耗，从而提高了存储设备的利用率，增加了使用者的投入产出比。

技术领域

本发明总体来说涉及计算机技术领域，更具体地讲，涉及一种用于电子设备的内存优化方法和设备。

背景技术

目前，人工智能技术正在飞速发展，机器学习也在影响着人们生活的方方面面，神经网络作为机器学习领域一个重要组成部分，已成为了工业界和学术界同时关注的热点。然而，神经网络计算中庞大的数据量使得神经网络计算时需要大量的临时空间，对于内存有限的电子设备来说，当分批处理输入的数量增大到一定程度或神经网络模型太大时，神经网络对内存的消耗就会急剧增加，在神经网络运行所需的内存超过电子设备的设备内存时，会导致神经网络模型无法正常运行，并且这类问题在神经网络的训练过程中更加突出。

目前，通常采用以下方式中的至少一个来解决上述问题：压缩神经网络模型；用1x1卷积降维，减少权重参数；卷积替换全连接；量化神经网络；对两个不交叉的变量重复使用同一内存。然而，通过上述方式进行改进后仍存在以下问题：当分批处理输入的数量增大时，内存不足的问题仍然存在；模型设计耗时耗力，需要很强的专业知识，调节参数非常耗时；神经网络的精确度降低。

发明内容

本发明的示例性实施例在于提供用于电子设备的内存优化方法和设备，以克服现有的由于内存不足导致神经网络模型无法正常运行的缺陷。

根据本发明的示例性实施例的一方面，提供一种用于电子设备的内存优化方法，包括：(A)将神经网络模型的层以多种组合方式进行分组，以得到多种分组结果，其中，每种分组结果包括至少两个组；(B)估计在每种分组结果下运行所述神经网络模型所需的运算资源；(C)从所述多种分组结果中筛选出使用运算资源最小的分组结果；(D)根据筛选出的分组结果所包括的每个组的执行顺序，在当前组的执行过程中加载所述当前组之后的下一组到相应的预设缓存区，以运行所述神经网络模型。通过这种方式，能够有效降低神经网络执行过程中对内存的消耗，从而提高了存储设备的利用率，增加了使用者的投入的产出比。

可选地，所述方法还包括：在所述当前组被执行完成后，并且在所述当前组之后的下一组被加载完成后，执行所述当前组之后的下一组。通过这种方式，可以最大程度地减少对内存的消耗。

可选地，每个分组结果所包括的任意一个组中的最后的层与所述任意一个组的后一组的起始层相邻。

可选地，运行所述神经网络模型所需的运算资源包括：运行所述神经网络模型使用的总内存和执行总时间。

可选地，步骤(C)包括：从所述多种分组结果中筛选出使用的总内存小于等于预设内存的分组结果中执行总时间最短的分组结果，或者，从所述多种分组结果中筛选出执行总时间小于等于预设时间的分组结果中的使用的总内存最小的分组结果。通过这种设定所述神经网络模型的可用最大内存的筛选方式，可使得所述神经网络模型的运行性能最大化；通过这种设定所述神经网络模型可用的最长执行总时间的筛选方式，可以在保证所述神经网络模型在可接受性能损失的情况下，占用最小的内存。

可选地，步骤(B)包括：(B1)估计所述神经网络模型的各个层的运行数据；(B2)利用所述各个层的运行数据估计在每种分组结果下运行所述神经网络模型使用的总内存和执行总时间。

可选地，步骤(B1)包括：(B11)获取电子设备的硬件设备信息和所述神经网络模型的每一层的模型参数；(B12)基于获取的硬件设备信息和模型参数估计所述神经网络模型的各个层的运行数据。