[发明专利]基于Transformer的土木建筑信息领域自然语言问题生成方法

摘要

本发明公开了基于Transformer的土木建筑信息领域自然语言问题生成方法，本模型通过分析Bert模型中每层学习到的信息分布，结合训练数据的有限特性，对Transformer的不同模块进行不同语料的训练，提出低层网络用于训练句法语法特性，高层网络用于训练获取语义特性的机制。然后，采用UniLM思想对Bert进行下游任务的微调，提升模型在土木建筑信息领域的自然语言文本生成能力。本方法提出的模型在土木建筑信息领域生成问题具有较高的可行性和有效性，并且达到了较高的自然语言问题生成水准。