[发明专利]基于Transformer的土木建筑信息领域自然语言问题生成方法

权利要求书

1.基于Transformer的土木建筑信息领域自然语言问题生成方法，包括以下步骤：

步骤1：维基百科开放域文本的预训练；构建基于Transformer的12层堆叠模块，对中文维基百科文本公开语料进行人工预处理，形成上下句形式的统一结构，然后将处理好的维基百科语料输入进入模型进行模型预训练；

步骤2：土木建筑信息领域文本的预训练；取出第一步预训练的模型参数，然后对互联网上获取的土木建筑信息文本语料进行二次预训练，获取领域知识；

步骤3：随机采样语料的编码训练；为了使得模型获取句法和语法生成能力，本方法采集了开放域问答文本数据，并设计了对开放域问答和土木建筑问答数据的随机采样机制；不同的采样结果将通过嵌入方式输入到Transformer的不同层次模块中进行分层训练；

步骤4：训练优化与解码文本生成；在训练优化阶段，对于不同类型的采样数据，模型将取出不同层的Transformer模块进行梯度计算并反传优化；优化后的模型用于生成自然语言问题的推断，推断采用了beam search技术；

所述步骤3中，嵌入方式包括了Token词嵌入、段嵌入和位置嵌入；在嵌入编码时采用了UniLM的遮盖词策略，目的是提升模型的自然语言生成能力；

所述步骤3中，模型设计采用了12层UniLM思想的Transformer堆叠结构；

具体地，对给定输入序列{x_i} (i=1, 2, ……, |X|)，其被打包成初始输入序列H⁰ =[x₁, x₂, x₃, ……, x_|X|]，并将H⁰输入到了编码器结构的第一层编码模块；然后，Transformer每一层编码模块的输入都来自上一层的输出，即形式化描述为H^l =Transformer(H^l-1) (l =1, 2, …, L)，其中L=12层；

在模型的每一层中，前一层输出为H^l-1W^Q，d_h为模型的嵌入维度；查询矩阵Q，键值矩阵K和值矩阵V是通过三个参数矩阵W^Q，W^K，W^V(∈R^dh×dK)，经过对前一层的输出进行线性变换得到。

2.根据权利要求1所述的基于Transformer的土木建筑信息领域自然语言问题生成方法，其特征在于，所述步骤1和步骤2中，文本标记的方法，采用BERT模型的文本标记方法；预训练阶段采用同Bert相同的双向遮盖预训练机制和下半句预测训练机制。