[发明专利]一种基于transformer架构的对话生成方法

摘要

本发明提出了一种基于transformer架构的对话生成方法，用于解决基于背景知识的对话生成问题，属于自然语言处理领域。其主要步骤为将对话上文以及背景知识输入到微调后的文本预训练模型，分别得到对应的向量化表示。做阅读理解任务，通过训练好的阅读理解模型得到背景知识符合当前语境的概率分布。做文本生成任务，根据概率最高的知识片段与对话上文的向量化表示通过多头注意力机制得到综合语义向量。根据综合语义向量结合复制机制生成回复。使用该方法可以生成具有信息量的、自然的、符合当前语境的回复。