[发明专利]一种提升训练数据生成速度的方法和设备

说明书

本发明涉及一种提升训练数据生成速度的方法和设备,该方法包括：确定待训练的文本的字数以及每个训练数据的矩阵的维度；基于横向维度的值与纵向维度的值确定批处理数据的大小；通过字数与批处理数据的大小确定批处理数据的数量；根据批处理数据的数量确定训练数据的数量；根据字数与横向值确定采样数据的大小；遍历每个训练数据，依次在每个矩阵的第Y个横向维度导入预设个字的文本；在第Y个横向维度导入的文本的总大小等于采样数据的大小；更改Y的值后执行“依次在每个矩阵的第Y个横向维度导入预设数量个字的文本”的操作，直到每个矩阵的所有的横向维度均有文本导入，以生成训练数据。本方案加快了训练数据的生成过程。

技术领域

本发明涉及训练数据处理技术领域，具体涉及一种提升训练数据生成速度的方法和设备。

背景技术

目前大多数深度学习的语言模型的输入数据是文本文件，而神经网络接收的输入是数值矩阵，所以神经网络一般都是一边处理文本数据，一边把生成好的数据送入语言模型训练；深度学习的语言模型transformerl-xl也是基于这样的实现方式，且由于该模型需要联系上文信息，所以数据生成方式是将所有文本合并成一个句子，再将句子以一定数目字数(batchsize)划分一定数目个batch，生成输入的模型的数据，这样通过滑窗的方式获取训练数据；过程包括：[1…n](重构)[batchsize*batch_num](转置)[batch_num*batchsize]。

由此可见，在语言模型transformerl-xl进行训练时，存在以下一些问题：首先，如果训练数据生成速度慢，而GPU训练快，数据送出跟不上模型训练，模型需要等待数据，导致训练速度变慢；此外，训练数据生成的方式需要先生成一个大矩阵，在对矩阵进行重构，转置等操作，速度较慢。

由此，目前需要有一种更好的方案来解决现有技术中的问题。

发明内容

本发明提供一种提升训练数据生成速度的方法和设备，能够解决现有技术中训练数据生成速度慢的技术问题。

本发明解决上述技术问题的技术方案如下：

本发明实施例提出了一种提升训练数据生成速度的方法,包括：

确定待训练的文本的字数以及每个训练数据的矩阵的维度；所述维度包括横向维度与纵向维度；

基于所述横向维度的值与所述纵向维度的值确定批处理数据的大小；

通过所述字数与所述批处理数据的大小确定所述批处理数据的数量；

根据所述批处理数据的数量确定所述训练数据的数量；

根据所述字数与所述横向值确定采样数据的大小；

遍历每个所述训练数据，依次在每个所述矩阵的第Y个所述横向维度导入预设个字的所述文本；在第Y个所述横向维度导入的所述文本的总大小等于所述采样数据的大小；不同的所述矩阵中导入的所述文本不同；

更改Y的值后执行“依次在每个所述矩阵的第Y个所述横向维度导入预设数量个字的所述文本”的操作，直到每个所述矩阵的所有的所述横向维度均有文本导入，以生成所述训练数据。

在一个具体的实施例中，所述训练数据的大小与所述批处理数据的大小相同；

所述批处理数据的大小是通过所述横向维度的值与所述纵向维度的值相乘得到的。

在一个具体的实施例中，所述训练数据的数量与所述批处理数据的数量相同。

在一个具体的实施例中，所述采样数据是基于保证相邻的两个所述训练数据存在关联信息，通过一定数据大小的间隔采样得到的；

所述采样数据的大小是通过所述字数除以所述横向值得到的。

在一个具体的实施例中，所述预设数量为所述纵向维度的值；