[发明专利]一种缺失文本生成方法及系统

权利要求书

1.一种缺失文本生成方法，其特征在于，包括如下步骤：

对输入样本进行预处理，得到缺失样本；

通过embedding词嵌入算法分别对所述输入样本和所述缺失样本进行词向量化处理，得到输入样本句向量和缺失样本句向量；

分别对所述输入样本和所述缺失样本进行位置编码处理，得到输入样本位置向量和缺失样本位置向量；

根据所述输入样本句向量对所述缺失样本句向量、所述输入样本位置向量和所述缺失样本位置向量进行增强句向量处理，得到输入样本向量和缺失样本向量；

对所述输入样本向量和所述缺失样本向量进行模型训练，得到完整文本；

所述分别对所述输入样本和所述缺失样本进行位置编码处理，得到输入样本位置向量和缺失样本位置向量的过程包括：

通过相对位置编码算法分别对所述输入样本和所述缺失样本进行位置编码处理，得到输入样本位置向量和缺失样本位置向量，具体为：

通过第一式分别对所述输入样本和所述缺失样本进行计算，得到输入样本偶数位置向量和缺失样本偶数位置向量，所述第一式为：

其中，PE为二维矩阵，行为词语，列为词向量，pos为词语在句子中的位置；d_model为词向量的维度；i为词向量的位置；

通过第二式分别对所述输入样本和所述缺失样本进行计算，得到输入样本奇数位置向量和缺失样本奇数位置向量，所述第二式为：

其中，PE为二维矩阵，行为词语，列为词向量，pos为词语在句子中的位置；d_model为词向量的维度；i为词向量的位置；

根据所述输入样本偶数位置向量和所述输入样本奇数位置向量得到输入样本位置向量；

根据所述缺失样本偶数位置向量和所述缺失样本奇数位置向量得到缺失样本位置向量；

所述根据所述输入样本句向量对所述缺失样本句向量、所述输入样本位置向量和所述缺失样本位置向量进行增强句向量处理，得到输入样本向量和缺失样本向量的过程包括：

将所述输入样本句向量输入至预先构建的双向LSTM网络中提取隐藏信息处理，得到输入样本隐藏信息；

将所述输入样本句向量和所述样本隐藏信息输入至预先构建的信息增强网络中提取特征向量处理，得到输入样本特征向量；

将所述输入样本特征向量和所述输入样本位置向量进行相加计算，得到输入样本向量；

将所述缺失样本句向量和所述缺失样本位置向量进行相加计算，得到缺失样本向量；

所述对所述输入样本向量和所述缺失样本向量进行模型训练，得到完整文本的过程包括：

将所述输入样本向量和所述缺失样本向量输入预先构建的transformer模型进行训练，得到完整文本。

2.根据权利要求1所述的缺失文本生成方法，其特征在于，所述对输入样本进行预处理，得到缺失样本的过程包括：

利用随机屏蔽算法对所述输入样本进行预处理，得到缺失样本，具体为：

通过预设第一占位符随机对所述输入样本中的词进行替换，得到第一缺失样本；

将预设第二占位符添加至所述第一缺失样本中所述预设第一占位符的开头，得到第二缺失样本；

将预设第三占位符添加至所述第二缺失样本中所述预设第一占位符的结尾，得到第三缺失样本；

将预设第四占位符添加至所述第三缺失样本的开头，得到第四缺失样本；

将预设第五占位符添加至所述第四缺失样本的结尾，得到缺失样本。

3.根据权利要求1所述的缺失文本生成方法，其特征在于，所述将所述输入样本句向量输入至预先构建的双向LSTM网络中提取隐藏信息处理，得到输入样本隐藏信息的过程包括：

通过第三式对所述输入样本句向量进行隐藏信息提取计算，得到输入样本隐藏信息，所述第三式为：

其中，

其中，为前向LSTM网络，为后向LSTM网络，x_i为LSTM网络输入的样本词向量，为前一时刻的隐层信息，为后一时刻的隐层信息，h_i为输入样本隐藏信息。