[发明专利]一种基于骨架指导的对话组装方法及装置

权利要求书

1.一种基于骨架指导的对话组装方法，其特征在于，包括以下步骤：

从原对话中抽取覆盖关键信息的骨架词，将抽取的骨架词组合成对话骨架；

将原对话中的成分和对话骨架中的骨架词进行不同组合，通过多步采样获得多个候选组装句子；

根据原对话骨架计算生成每个候选组装句子的概率，作为流畅性特征；

统计每个候选组装句子包含的不属于骨架词的词数量作为不相关词数量，以不相关词数量的负值作为候选组装句子与原对话之间的语义一致特征；

将每个候选组装句子与原对话进行拼接，将拼接后的句子输入到分类器中，分类器根据原对话骨架包含的关键信息来预测概率，将该预测概率作为信息覆盖度特征；

通过组合流畅性特征、语义一致特征和信息覆盖度特征，对每个候选组装句子进行评价，得到最佳组装句子。

2.如权利要求1所述的方法，其特征在于，将原对话中的最后一句话进行标记，利用预训练RoBERTa、BERT或BART模型的编码器将原对话和原对话中的最后一句话进行编码，并利用二分类器判断编码后的每个词是否为关键信息，如果是，则作为骨架词进行抽取。

3.如权利要求1所述的方法，其特征在于，使用Top-k采样算法进行多步采样。

4.如权利要求1所述的方法，其特征在于，将拼接后的句子输入到基于预训练RoBERTa、BERT或BART模型的分类器中。

5.一种基于骨架指导的对话组装装置，其特征在于，包括：

骨架抽取模型，用于从原对话中抽取覆盖关键信息的骨架词，将抽取的骨架词组合成对话骨架；

骨架指导的生成器，用于通过能生成流畅自然语言的大规模预训练语言模型将原对话中的成分和对话骨架中的骨架词进行不同组合，通过多步采样获得多个候选组装句子；

骨架感知的排序器，用于通过能生成流畅自然语言的大规模预训练语言模型根据原对话骨架计算生成每个候选组装句子的概率，作为流畅性特征；统计每个候选组装句子包含的不属于骨架词的词数量作为不相关词数量，以不相关词数量的负值作为候选组装句子与原对话之间的语义一致特征；将每个候选组装句子与原对话进行拼接，将拼接后的句子输入到分类器中，分类器根据原对话骨架包含的关键信息来预测概率，将该预测概率作为信息覆盖度特征；通过组合流畅性特征、语义一致特征和信息覆盖度特征，对每个候选组装句子进行评价，得到最佳组装句子。

6.如权利要求5所述的装置，其特征在于，骨架抽取模型包括基于预训练RoBERTa、BERT或BART模型的编码器和二分类器，编码器将原对话和原对话中的最后一句话进行编码；二分类器判断编码后的每个词是否为关键信息，如果是，则作为骨架词进行抽取；通过优化交叉熵损失来训练骨架抽取模型。

7.如权利要求5所述的装置，其特征在于，骨架指导的生成器使用Top-k采样算法从输出分布中采样预定数量的候选组装句子。

8.如权利要求5所述的装置，其特征在于，大规模预训练语言模型包括BERT、GPT-2或T5。

9.如权利要求5所述的装置，其特征在于，将拼接后的句子输入到基于预训练RoBERTa、BERT或BART模型的分类器中。

10.如权利要求5所述的装置，其特征在于，利用训练语料训练骨架抽取模型抽取对话骨架，利用抽取的对话骨架训练骨架指导的生成器来根据对话生成候选组装句子，根据生成的候选组装句子训练骨架感知的排序器得到最佳组装句子。