[发明专利]基于BERT的序列生成方法及装置

权利要求书

1.一种基于BERT的序列生成方法，所述方法包括：

获取基于BERT模型构建的序列生成模型；

设置所述序列生成模型的迭代参数；

向所述序列生成模型输入第一序列数据；

由所述序列生成模型根据所述第一序列数据以及迭代参数，生成第二序列数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

创建序列生成模型，其中，所述序列生成模型包括第一BERT模型与第二BERT模型；

利用预设训练样本训练所述序列生成模型。

3.根据权利要求2所述的方法，其特征在于，所述创建序列生成模型包括：

将第一BERT模型与第二BERT模型级联构成序列生成模型，其中，第一BERT模型的输入为所述序列生成模型的输入，第一BERT模型的输出为所述序列生成模型的输出序列的长度以及输出序列向量；第二BERT模型的输入为所述第一BERT模型输出的输出序列向量以及预设掩码参数，所述预设掩码参数用于将所述输出序列向量中的指定向量进行掩码操作，第二BERT模型的输出为对经过掩码操作的指定向量的预测结果。

4.根据权利要求2所述的方法，其特征在于，所述预设训练样本包括：输入序列，预设掩码参数以及向量值，其中，预设掩码参数为将第一BERT模型输出序列中指定向量进行掩码操作的向量个数，所述向量值为经过掩码操作的指定向量对应的向量值。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述输入序列的开头增加预设标识，其中，所述第一BERT模型根据所述预设标识确定输出序列的长度。

6.根据权利要求1所述的方法，其特征在于，所述向所述序列生成模型输入第一序列数据包括：

在所述第一序列数据的开头增加预设标识，将含有所述预设标识的第一序列数据输入所述序列生成模型。

7.根据权利要求6所述的方法，其特征在于，由所述序列生成模型根据所述第一序列数据以及迭代参数，生成第二序列数据，包括：

序列生成模型根据所述第一序列数据中开头的预设标识确定第二序列数据的长度；

根据所述长度将经过掩码处理的向量序列作为第二序列数据；

根据所述迭代参数以及所述长度确定每次迭代后需要确认的向量个数n；

根据所述向量个数n，在每次迭代过程中将预测概率最高的n个向量确定为第二序列数据中对应的向量。

8.一种基于BERT的序列生成装置，所述装置包括：

获取单元，用于获取基于BERT模型构建的序列生成模型；

设置单元，用于设置所述获取单元得到的序列生成模型的迭代参数；

输入单元，用于向所述获取单元得到的序列生成模型输入第一序列数据；

生成单元，用于由所述序列生成模型根据所述输入单元输入的第一序列数据以及设置单元得到的迭代参数，生成第二序列数据。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

创建单元，用于创建序列生成模型，其中，所述序列生成模型包括第一BERT模型与第二BERT模型；

训练单元，用于利用预设训练样本训练所述创建单元构建的序列生成模型。

10.根据权利要求9所述的装置，其特征在于，所述创建单元具体用于，将第一BERT模型与第二BERT模型级联构成序列生成模型，其中，第一BERT模型的输入为所述序列生成模型的输入，第一BERT模型的输出为所述序列生成模型的输出序列的长度以及输出序列向量；第二BERT模型的输入为所述第一BERT模型输出的输出序列向量以及预设掩码参数，所述预设掩码参数用于将所述输出序列向量中的指定向量进行掩码操作，第二BERT模型的输出为对经过掩码操作的指定向量的预测结果。