[发明专利]一种文本填充方法及装置

权利要求书

1.一种文本填充方法，其特征在于，包括如下步骤：

S1:对输入样本进行预处理，得到带有多个空白位置的缺失样本；

S2:对所述缺失样本进行编码，得到编码层语义向量；

S3:基于注意力机制算法对所述编码层语义向量中的多个空白位置进行填充，得到预测层语义向量和多个用于填充所述空白位置的填充词，并分别对各个填充至所述空白位置的词进行标记，得到多个标记填充词；

S4:根据多个所述标记填充词对所述编码层语义向量和所述预测层语义向量进行损失分析，得到填充文本。

2.根据权利要求1所述的文本填充方法，其特征在于，所述步骤S1的过程包括：

利用随机屏蔽算法对所述输入样本进行预处理，得到缺失样本，具体为：

S11:通过预设第一占位符随机对所述输入样本中的词进行替换，得到第一缺失样本；

S12:将预设第二占位符添加至所述第一缺失样本中所述预设第一占位符的开头，得到第二缺失样本；

S13:将预设第三占位符添加至所述第二缺失样本中所述预设第一占位符的结尾，得到第三缺失样本；

S14:将预设第四占位符添加至所述第三缺失样本的开头，得到第四缺失样本；

S15:将预设第五占位符添加至所述第四缺失样本的结尾，得到缺失样本。

3.根据权利要求2所述的文本填充方法，其特征在于，所述步骤S2的过程包括：

S21:利用词嵌入算法对所述缺失样本进行词向量化处理，得到词向量矩阵；

S22:将所述词向量矩阵输入至双向LSTM网络中，得到编码层语义向量。

4.根据权利要求3所述的文本填充方法，其特征在于，所述步骤S22的过程包括：

通过第一方程组对所述词向量矩阵进行计算，得到编码层语义向量，所述第一方程组包括第一式、第二式、第三式、第四式、第五式和第六式；

其中，通过第一式得到遗忘门输出，所述第一式为：

f_t＝σ(W_fw_t+U_fh_t-1+b_f)，

通过第二式得到输入门输出，所述第二式为：

i_t＝σ(W_iw_t+U_ih_t-1+b_i)，

通过第三式得到输出门输出，所述第三式为：

o_t＝σ(W_ow_t+U_oh_t-1+b_o)，

通过第四式得到新的记忆信息，所述第四式为：

通过第五式得到更新的LSTM网络单元的记忆信息，所述第五式为：

c_t＝f_t⊙c_t-1+i_t⊙c_t，

通过第六式得到编码层语义向量，所述第六式为：

h_t＝o_ttanh(c_t)，

其中，f_t为遗忘门输出，i_t为输入门输出，o_t为输出门输出，W_f为遗忘门权重矩阵，W_i为输入门权重矩阵，W_o为输出门权重矩阵，W_c为选择门权重矩阵，b_f为遗忘门偏置向量，b_i为输入门偏置向量，b_o为输出门偏置向量，b_c为选择门偏置向量，U_f为遗忘门权重矩阵，U_i为输入门权重矩阵，U_o为输出门权重矩阵，U_c为选择门权重矩阵，为新的记忆信息，c_t为更新的LSTM网络单元的记忆信息，c_t-1为上一时刻的LSTM网络单元的记忆信息，tanh()为双曲正切函数，σ为sigmoid激活函数，⊙为元素乘积，h_t-1为t-1时刻的隐藏层输出，w_t为t时刻的输入信息，h_t为编码层语义向量。