[发明专利]运算方法、装置及相关产品

权利要求书

1.一种离线模型文件替换方法，其特征在于，所述方法包括：

在需要替换缓存区内存储的离线模型文件时，从已存储的离线模型文件中确定第一离线模型文件，其中，所述第一离线模型文件的权重大于或等于待存储的离线模型文件的权重，所述权重用于表示离线模型文件的大小；

根据缓存替换策略用所述待存储的离线模型文件替换所述第一离线模型文件中的第二离线模型文件；

所述缓存区包括多个子缓存区，每个子缓存区中存储的离线模型文件的权重位于该子缓存区对应的权重区间内，不同的子缓存区对应的权重区间不同，

在需要替换缓存区内存储的离线模型文件时，从已存储的离线模型文件中确定第一离线模型文件，包括：

确定待存储的离线模型文件的权重所属的权重区间，其中，所述权重区间包括权重上限和权重下限，待存储的离线模型文件的权重位于所述权重下限和所述权重上限之间，所述待存储的离线模型文件的权重为待使用的神经网络中包含的算子类型对应的权重和包括每类算子的算子数量的乘积和；

若待存储的离线模型文件的权重所属的权重区间对应的子缓存区内存储的离线模型文件需要替换，则将该子缓存区存储的离线模型文件确定为第一离线模型文件。

2.根据权利要求1所述的方法，其特征在于，缓存区中剩余的缓存大小不足以存储待存储的离线模型文件时，需要替换缓存区内存储的离线模型文件。

3.根据权利要求1所述的方法，其特征在于，已存储的离线模型文件的数量大于或等于第一数量阈值时，需要替换缓存区内存储的离线模型文件。

4.根据权利要求1所述的方法，其特征在于，每个子缓存区划分为多个缓存块，对于每个子缓存区，该子缓存区中的缓存块的大小与该子缓存区对应的权重区间的上限对应，

若待存储的离线模型文件的权重所属的权重区间对应的子缓存区中存储的离线模型文件的数量大于或等于第二数量阈值，则该子缓存区内存储的离线模型文件需要替换。

5.根据权利要求1所述的方法，其特征在于，所述缓存替换策略为替换被使用次数最少的离线模型文件，所述第二离线模型文件为第一离线模型文件中被使用次数最少的。

6.根据权利要求1-5任意一项所述的方法，其特征在于，根据缓存替换策略用所述待存储的离线模型文件替换所述第一离线模型文件中的第二离线模型文件，包括：

获取第一离线模型文件的被使用次数；

根据第一离线模型文件的被使用次数确定第二离线模型文件；

删除所述第二离线模型文件，并将所述待存储的离线模型文件存储在第二离线模型文件被存储的缓存区。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

记录所述待存储的离线模型文件的存储地址以及被使用次数。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在已存储的离线模型文件被使用时，将该离线模型文件的被使用次数加1。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

建立文件检索信息，所述文件检索信息包括已存储的离线模型文件的存储地址和被使用次数之间的关联关系。

10.根据权利要求9所述的方法，其特征在于，所述文件检索信息以矩阵的形式记录，所述矩阵被划分为多个不同的区域，每个区域中记录的离线模型文件的权重位于该区域对应的权重区间内，所述权重区间包括权重上限和权重下限；

每个权重区间对应缓存区中的一个子缓存区，每个子缓存区划分为多个缓存块，对于每个子缓存区，该子缓存区中的缓存块的大小与该子缓存区对应的权重区间的上限对应。