[发明专利]低延迟闪存应用于模型的迁移学习系统及方法

说明书

本发明提供的低延迟闪存应用于模型的迁移学习系统与方法，属于人工智能技术领域，包括：第一外部存储器、第二外部存储器、总处理器和若干数据处理器；第一外部存储器和第二外部存储器通过总处理器中的连接装置连接数据处理器；或第一外部存储器和第二外部存储器直接连接数据处理器；第一外部存储器，用于存储模型训练数据；第二外部存储器，用于存储模型权重；数据处理器，用于进行模型训练。本发明能够利用存储器存储大模型权重，在单节点内实现大模型的迁移学习。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种低延迟闪存应用于模型的迁移学习系统及方法。

背景技术

近年来，自然语言处理(NLP)中基于transformer的语言模型在大规模计算、大型数据集以及用于训练这些模型的高级算法和软件的推动下，取得了快速的进步。具有大量参数、更多数据和更多训练时间的语言模型可以获得更丰富、更细致的语言理解，能在许多NLP任务和数据集上获得了较高的准确性，具体应用包括摘要、自动对话生成、翻译、语义搜索和代码自动完成。

但是，这些NLP的代表大模型中的参数数量以指数速度增长，模型大小从2018年的ELMo(376MB)到2021年的Megatron-TurningNLG(2.1TB)，三年时间模型大小增加了5000多倍，而目前单个GPU最大的内存是英伟达A100的80GB，远远小于Megatron-TurningNLG的模型大小。

现有技术中的做法是把模型进行切分，在节点内进行张量切片，在节点间进行管道并行，在280台以上的DGXA100服务器上进行并行训练。一台DGXA100的零售价格大概为20万美金，总硬件成本达到了5600万美金，价格十分昂贵，而且这样的方法还有另外两个缺点，跨节点之间的通信降低了总的计算效率；管道并行需要大批量、粗粒度并行和完美的负载平衡，这在现有技术中是难以达到的。

发明内容

本发明的技术问题是提供一种低延迟闪存应用于模型的迁移学习系统及方法，能够利用外部存储器存储大模型权重，在单节点内实现大模型的迁移学习。

为实现上述目的，本发明采取的技术方案为：

低延迟闪存应用于模型的迁移学习系统，包括：第一外部存储器、第二外部存储器、总处理器和若干数据处理器；第一外部存储器和第二外部存储器通过总处理器中的连接装置连接数据处理器；或第一外部存储器和第二外部存储器直接连接数据处理器；第一外部存储器，用于存储模型训练数据；第二外部存储器，用于存储模型权重；数据处理器，用于进行模型训练。

进一步地，数据处理器内设置有内部存储单元，内部存储单元用于存储训练中的中间数据，中间数据包括激活和梯度。

进一步地，低延迟闪存应用于模型的迁移学习系统还包括交换机，第一外部存储器和第二外部存储器通过交换机直接连接数据处理器。

进一步地，第一外部存储器为MLCNAND；第二外部存储器为低延迟SSD。

进一步地，数据处理器为GPU，GPU的数量为八个。

低延迟闪存应用于模型的迁移学习方法，包括以下步骤：S1获取输入数据，输入数据包括模型训练数据和模型权重；S2通过前向计算与后向计算更新第二外部存储器中的权重并迭代进行模型训练；S3在迭代的次数超过预设的阈值时，迭代结束。