[发明专利]基于词格和相对位置嵌入的中文问题生成统一预训练方法

说明书

本发明公开了基于词格和相对位置嵌入的中文问题生成统一预训练方法，具体包括如下步骤：对Robert参数进行领域预训练；使用半监督半人工的方式，快速且准确的生成目标领域词典；根据词典将输入中字和词的相对位置信息融入Transformer层；新建的Transformer层，通过大量开放域问答数据，进行任务预训练；生成问题的训练和推断。本发明在模型输入中加入了每个单子和领域词汇的相对位置信息，模型不仅能学到更多的位置关系也可以在针对目标领域输入生成问题时具有更好的效果。领域预训练和任务预训练也被应用于模型用于增强模型在特定领域的推断能力。基于同样的问答数据集本发明提出模型具有更好的效果。

技术领域

本发明属于面向中文自然语言处理中的问题生成领域，提供了基 于词格和相对位置嵌入的中文问题生成统一预训练方法。

背景技术

随着互联网和信息技术的发展，大量的信息涌入互联网之中，同 时也促使了人工智能的发展。自然语言处理领域中智能系统通常要处 理大量的输入语料，因此寻找一个较好的方式来处理大量的语料信息 是分成有价值的。

智能问答系统QG(Question Generation)是自然语言处理的方面的 研究热点。由于人类思维的活跃性与创新性传统的基于规则的问答系 统难以得到令人满意的问句，同时近几年计算机的算力大幅度提升使 得很多基于深度学习的问答系统逐渐开始被应用。一个非常重要的应 用领域是在教育领域，由于在学习的阶段往往会接触大量的专业知识和专业词汇，为了提升学生对知识的熟悉程度，需要通过一些问题来 巩固记忆。问题生成系统可以辅助教师提出领域内的相关问题，减轻 教学压力。问题生成也可以用于聊天机器人，增强人机交互能力。综 上所述，生成高质量的问题不但可以推进自然语言处理方面的研究， 也可以促进，心里治疗、教育等领域的发展。因此，研究可以提出高 质量问题的问答系统具有非常重要的现实意义。

近些年来，基于Transformer的模型大量涌现，由于Transformer 提出了一种注意力机制，这种机制可以有效的从输入语料中获取上下 文信息。通过大量的文本对Transformer模型进行训练可以使得模型 学习到自然语言中上下文的隐含关系。例如Bert、RoBert、GPT、GPT2、 联合遮盖语言模型Unilm等，这些模型都在NLP领域取得了优秀的表现。并且这些模型可以针对不同的下游任务进行迁移，通过预训练 之后，下游任务使用少量的标注文本就可以让模型收敛，并且迁移后 的模型在下游任务具有更加优秀的表现。其中Unilm语言模型结合了 其他模型的各种遮盖训练思想，根据不同的具体任务，采用双向、从 左到右、从右到左、序列到序列(sequence-to-sequence)，不同的遮盖 思想会使得模型更擅长不同的方向。例如在文本生成方面，使用从左 到又得遮盖思想可以提高文本得生成能力。在中文语言模型领域， Cui等人在中文使用了全词遮盖得中文Robert预训练模型，由于在中 文中一个词语经常会形成一个新的完整得词义，因此遮盖词语中每一 个组成的token，可以更好的捕捉词与词的边界关系，该模型在多个 中文数据集上取得了预训练模型最佳得水平。但是由于中文方面各个 领域词汇组成和语义差别巨大，所以该模型不能在各个专业领域取得 较好效果。

发明内容

本发明的目的是提供基于词格和相对位置嵌入的中文问题生成 统一预训练方法，通过融合领域词格(Lattice)嵌入和相对位置编码 (Relative Position Embedding)，同时加入领域预训练和任务预训练。 提高了模型在目标领域的生成精度，更高效的生成有意义的问句。

本发明所采用的技术方案是，

基于词格和相对位置嵌入的中文问题生成统一预训练方法，具体 包括如下步骤：

步骤1，对Robert参数进行领域预训练；

步骤2，使用半监督半人工的方式，快速且准确的生成目标领域 词典；

步骤3，构建特殊的mask矩阵，提高模型的生成能力；