[发明专利]低延迟闪存应用于模型的迁移学习系统及方法

权利要求书

1.低延迟闪存应用于模型的迁移学习系统，其特征在于，包括：第一外部存储器、第二外部存储器、总处理器和若干数据处理器；

所述第一外部存储器和所述第二外部存储器通过所述总处理器中的连接装置连接所述数据处理器；或所述第一外部存储器和所述第二外部存储器直接连接所述数据处理器；

所述第一外部存储器，用于存储模型训练数据；

所述第二外部存储器，用于存储模型权重；

所述数据处理器，用于进行模型训练。

2.如权利要求1所述的低延迟闪存应用于模型的迁移学习系统，其特征在于，所述数据处理器内设置有内部存储单元，所述内部存储单元用于存储训练中的中间数据，所述中间数据包括激活和梯度。

3.如权利要求1所述的低延迟闪存应用于模型的迁移学习系统，其特征在于，还包括交换机，所述第一外部存储器和所述第二外部存储器通过所述交换机直接连接所述数据处理器。

4.如权利要求1或3任一所述的低延迟闪存应用于模型的迁移学习系统，其特征在于，所述第一外部存储器为MLCNAND；所述第二外部存储器为低延迟SSD。

5.如权利要求1所述的低延迟闪存应用于模型的迁移学习系统，其特征在于，所述数据处理器为GPU，所述GPU的数量为八个。

6.低延迟闪存应用于模型的迁移学习方法，基于权利要求1至5任一所述的低延迟闪存应用于模型的迁移学习系统，其特征在于，包括以下步骤：

S1获取输入数据，所述输入数据包括模型训练数据和模型权重；

S2通过前向计算与后向计算更新第二外部存储器中的权重并迭代进行模型训练；

S3在迭代的次数超过预设的阈值时，迭代结束。

7.如权利要求6所述的低延迟闪存应用于模型的迁移学习方法，其特征在于，所述S2包括：

S21 GPU获取第i层(i＝1,2,3……j)的权重和输入后，计算得到第i层的激活，并存入内部存储单元；

S22 GPU获得第i+1层的权重后，从内部存储单元读取第i层的激活作为第i+1层的输入，GPU计算得到第i+1层的激活，依次类推完成一次前向计算；

S23 GPU获得第j层的权重，从内部存储单元读取第j层的激活，计算得到第j层的梯度和第j层更新后的权重，将第j层梯度存入内部存储单元，将第j层更新后的权重写入低延迟SSD；

S24 GPU获得第j-1层的权重后，从内部存储单元读取第j-1层的激活和第j层的梯度，计算得到第j-1层的梯度和第j-1层更新后的权重，将第j-1层梯度存入内部存储单元，将第j-1层更新后的权重写入低延迟SSD，依次类推，完成一次后向计算；

S25根据更新后的权重，迭代执行S21至S24。

8.如权利要求7所述的低延迟闪存应用于模型的迁移学习方法，其特征在于，单次迭代的时间由GPU的算力和低延迟SSD的读带宽决定。

9.如权利要求7所述的低延迟闪存应用于模型的迁移学习方法，其特征在于，GPU之间采用数据并行的方式连接。