[发明专利]运算方法、装置及相关产品

说明书

本公开涉及一种运算方法、装置及相关产品，所述产品包括控制器单元，所述控制器单元包括：指令缓存单元、指令处理单元和存储队列单元；所述指令缓存单元，用于存储所述人工神经网络运算关联的计算指令；所述指令处理单元，用于对所述计算指令解析得到多个运算指令；所述存储队列单元，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。通过以上方法，本公开可以提高相关产品在进行神经网络模型的运算时的运算效率。

技术领域

本公开涉及信息处理技术领域，尤其涉及一种运算方法、装置及相关产品。

背景技术

在人工智能技术领域，神经网络算法是最近非常流行的一种机器学习算法，在各种领域中都取得了非常好的效果，比如图像识别，语音识别，自然语言处理等。随着神经网络算法的发展，算法的复杂度也越来越高，为了提高识别度，模型的规模也在逐渐增大。

发明内容

有鉴于此，本公开提出了一种离线模型文件替换方法及装置。

根据本公开的一方面，提供了一种离线模型文件替换方法，所述方法包括：

在需要替换缓存区内存储的离线模型文件时，从已存储的离线模型文件中确定第一离线模型文件，其中，所述第一离线模型文件的权重大于或等于待存储的离线模型文件的权重，所述权重用于表示离线模型文件的大小；

根据缓存替换策略用所述待存储的离线模型文件替换所述第一离线模型文件中的第二离线模型文件。

在一种可能的实现方式中，缓存区中剩余的缓存大小不足以存储待存储的离线模型文件时，需要替换缓存区内存储的离线模型文件。

在一种可能的实现方式中，已存储的离线模型文件的数量大于或等于第一数量阈值时，需要替换缓存区内存储的离线模型文件。

在一种可能的实现方式中，所述缓存区包括多个子缓存区，每个子缓存区中存储的离线模型文件的权重位于该子缓存区对应的权重区间内，不同的子缓存区对应的权重区间不同，

在需要替换缓存区内存储的离线模型文件时，从已存储的离线模型文件中确定第一离线模型文件，包括：

确定待存储的离线模型文件的权重所属的权重区间，其中，所述权重区间包括权重上限和权重下限，待存储的离线模型文件的权重位于所述权重下限和所述权重上限之间；

若待存储的离线模型文件的权重所属的权重区间对应的子缓存区内存储的离线模型文件需要替换，则将该子缓存区存储的离线模型文件确定为第一离线模型文件。

在一种可能的实现方式中，每个子缓存区划分为多个缓存块，对于每个子缓存区，该子缓存区中的缓存块的大小与该子缓存区对应的权重区间的上限对应，

若待存储的离线模型文件的权重所属的权重区间对应的子缓存区中存储的离线模型文件的数量大于或等于第二数量阈值，则该子缓存区内存储的离线模型文件需要替换。

在一种可能的实现方式中，所述缓存替换策略为替换被使用次数最少的离线模型文件，所述第二离线模型文件为第一离线模型文件中被使用次数最少的。

在一种可能的实现方式中，根据缓存替换策略用所述待存储的离线模型文件替换所述第一离线模型文件中的第二离线模型文件，包括：

获取第一离线模型文件的被使用次数；

根据第一离线模型文件的被使用次数确定第二离线模型文件；

删除所述第二离线模型文件，并将所述待存储的离线模型文件存储在第二离线模型文件被存储的缓存区。

在一种可能的实现方式中，所述方法还包括：

记录所述待存储的离线模型文件的存储地址以及被使用次数。