[发明专利]一种自监督的对话文本摘要方法及系统

权利要求书

1.一种自监督的对话文本摘要方法，其特征在于，包括以下步骤：

文本预处理，将文本字符序列转化为单词序列，并通过词嵌入模型将文本单词转化成语义向量编码；

时序自监督编码，训练出能将对话句子编码为语义向量的自监督编码模型；

自监督分段，训练出能将对话文本分割为若干段落的自监督分段模型；

无监督主题聚类，将相同主题的段落聚到同一类别集合中；

编解码生成式摘要，将主题段落编解码生成文本摘要；

其中，所述时序自监督编码步骤还包括以下子步骤：

S201，通过对话的角色转换把对话全文分成N次对话{(A₁，B₁)，...，(A_N，B_N)}，从前文对话中采样出的三次对话{(A_i，B_i)，(A_j，B_j)，(A_k，B_k)}简称为三元组；

S202，采样三个三元组，第一个三元组{(A_i，B_i)，(A_j，B_j)，(A_k，B_k)}有序排列，第二个三元组{(A_i，B_i)，(A_k，B_k)，(A_j，B_j)}乱序排列，其中i＜j＜k≤t，第三个三元组是待预测部分，有序则标注真实标签0，乱序则标注真实标签1；

S203，将三个三元组分别通过递归自动编码器编码和双向长短期记忆网络进行嵌入后，将得到的三个嵌入拼接后输入多层感知机对待预测三元组的顺序进行分类预测；

S204，重复S202和S203直至训练完成，从递归自动编码器的输出层取出句子的编码向量；

所述自监督分段步骤还包括以下子步骤：

S301，对于没有类型标签的对话文本，将对话文本随机划分成若干个段落后对句子进行标注，打乱顺序重新排列，以此构造标注训练集；对于带有类型标签的对话文本，从不同类型的对话抽取段落，拼接排列后构造标注训练集；

S302，将段落的开始句标注开始标签B，段落的中间句标注中部标签M，段落的结尾句标注结束标签E；

S303，利用上述时序自监督编码模型将对话句子转化为编码向量，则段落转化为句子编码向量序列，采用双向长短期记忆网络提取序列的特征，然后将双向长短期记忆网络的输出输入到条件随机场层进行分类；

S304，通过分类结果将对话文本划分为若干段落；

所述编解码生成式摘要步骤还包括以下子步骤：

S501，在大规模公开摘要数据集上训练编解码器，中文可选择LCSTS数据集，英文可选择CNN/DailyMail等数据集；

S502，假设由上一步获得了K个主题，将主题分别输入训练好的编解码器，生成K个摘要；

S503，每个主题包含一个或多个段落，每个段落包含多个对话句，假设主题中共包含n个对话句子，line_i表示句子(A_i,B_i)在原文中的行号，||D||表示原文总行数，则计算出整个主题的相对位置，计算如下式所示：

S504，对K个生成的摘要根据对应主题的相对位置从小到大进行排列，组成最后的摘要。

2.根据权利要求1所述的一种自监督的对话文本摘要方法，其特征在于，所述文本预处理步骤还包括以下子步骤：

S101，获取对话文本集合，若对话文本为中文，则进行中文分词处理，将对话文本句子转化为单词序列；

S102，利用在大规模语料库上预训练的词嵌入模型，将单词映射为固定维度的语义向量编码。