[发明专利]基于Transformer的土木建筑信息领域自然语言问题生成方法

说明书

本发明公开了基于Transformer的土木建筑信息领域自然语言问题生成方法，本模型通过分析Bert模型中每层学习到的信息分布，结合训练数据的有限特性，对Transformer的不同模块进行不同语料的训练，提出低层网络用于训练句法语法特性，高层网络用于训练获取语义特性的机制。然后，采用UniLM思想对Bert进行下游任务的微调，提升模型在土木建筑信息领域的自然语言文本生成能力。本方法提出的模型在土木建筑信息领域生成问题具有较高的可行性和有效性，并且达到了较高的自然语言问题生成水准。

技术领域

本发明属于计算机人工神经网络自然语言处理技术领域，具体涉及基于Transformer编码解码结构的土木建筑信息领域的自然语言问题生成方法。

背景技术

随着人工智能和大数据技术的不断发展，智能问答系统正在急速改变着人们的生活方式，也大大提升工作效率和使用体验。问题生成QG(Question Generation)作为问答系统的基本任务，其目标是给定句子或段落，自动生成自然语言问题。该任务已经被广泛应用到很多领域，例如，教育，医疗，物联网等。在教育领域，通过对给定的句子和段落进行阅读理解式的生成自然语言问题来辅助学习和教学任务[1]。针对土木建筑行业，问题生成可被用来构建对话机器人，辅助从业人员快速的查找和学习领域知识。此外，问答系统还可用来自动化构建问答数据集，从而大大降低人工标注工作量。对于问答系统，问题的提出是其核心步骤，有效的自然语言问题生成方法将帮助问答系统构建更为庞大且精准的领域自然语言问题。

发明内容

本发明的目的在于提供基于Transformer的土木建筑信息领域自然语言问题生成方法，降低了人工标注的工作量，解决了现有技术中存在的土木建筑信息领域自然语言问题生成难以自动化的问题。

本发明通过分析Bert模型中每层学习到的信息分布，结合训练数据的有限特性，对Transformer的不同模块进行不同语料的训练，提出低层网络用于训练句法语法特性，高层网络用于训练获取语义特性的机制。然后，采用UniLM思想对Bert进行下游任务的微调，提升模型在土木建筑信息领域的自然语言文本生成能力。

本发明所采用的技术方案是，基于Transformer的土木建筑信息领域自然语言问题生成方法，包括以下步骤：

步骤1：维基百科开放域文本的预训练。构建基于Transformer的12层堆叠模块，对中文维基百科文本公开语料进行人工预处理，形成上下句形式的统一结构，然后将处理好的维基百科语料输入进入模型进行模型预训练。

步骤2：土木建筑信息领域文本的预训练。取出第一步预训练的模型参数，然后对互联网上获取的800K条土木建筑信息文本语料进行二次预训练，获取领域知识。

步骤3：随机采样语料的编码训练。为了使得模型获取一定的句法和语法生成能力，本方法采集了开放域问答文本数据，并设计了对开放域问答和土木建筑问答数据的随机采样机制；不同的采样结果将通过嵌入方式输入到Transformer的不同层次模块中进行分层训练；

步骤4：训练优化与解码文本生成。在训练优化阶段，对于不同类型的采样数据，模型将取出不同层的Transformer模块进行梯度计算并反传优化；优化后的模型即可用于生成自然语言问题的推断，推断思路主要是采用了beam search技术。

步骤1和步骤2中，文本标记的方法，主要采用BERT模型的文本标记方法；预训练阶段采用同Bert相同的双向遮盖预训练机制和下半句预测训练机制。

步骤2中，所述双向遮盖词预测训练机制，允许token关注到其前后双向的文本内容；对上下文信息，这种方式可以进行有效编码，从而生成上下文的信息表示。