[发明专利]基于预训练语言模型的古今汉语自然语言处理方法

说明书

本发明公开了一种基于预训练语言模型的古今汉语自然语言处理方法，包括：将中文语料(文言文或白话文)输入到预训练语言模型；根据语料类型分别进行不同的预训练任务，以捕获多层级语义信息，获取文本表示；将生成的语料表示输入卷积层，得到更多可学习的表示；通过开关机制切换路径，根据语料类型选择通过句子级聚合或更新门以进一步优化表示；输出最终的中文语料表示。本发明能够充分利用文言文和白话文的特点执行不同的预训练任务，并且可以通过开关机制灵活调整模型结构，以根据语料类型采取不同方法优化语料表示，有效地捕获古今汉语的语料特征，在文言文和白话文的多项自然语言处理任务中实现了更高的准确率和召回率，具有良好的实用性。

技术领域

本发明涉及一种语言处理方法，尤其涉及一种面向自然语言处理的预训练模型。

背景技术

近年来，自然语言处理(Natural Language Processing)技术的快速发展使得人类使用自然语言与计算机进行通信成为可能。与此同时，深度学习(Deep Learning)技术被广泛应用于各个领域，基于深度学习的预训练模型将自然语言处理带入一个新时代。预训练语言模型(Pre-trained Language Model)极大地提升了语言信息表示的效果，成为目前自然语言处理领域的重要研究方向。预训练模型的目标在于使预训练好的模型处于良好的初始状态，在下游任务中达到更好的性能表现，同时减少训练代价，配合下游任务实现更快的收敛速度，从而有效提高模型性能，尤其是对一些训练数据比较稀缺的任务。预训练模型的应用通常分为两步：首先，在计算性能满足的情况下用某个较大的数据集训练出一个较好的模型；其次，根据不同的任务改造预训练模型，用新任务的数据集在预训练模型上进行微调。

在下游任务中应用预训练语言模型表示的方法有两种：基于特征的方法和微调的方法。ELMo等预训练语言模型使用基于特征的方法，将预训练的表示作为额外的特征输入到特定于任务的模型中；GPT则使用微调的方法，引入少量的特定于任务的参数，并通过简单地微调预训练的参数来对下游任务进行训练。早期的预训练语言模型大多是单向的，对句子层级的任务并非最优，且对于token层级的任务非常不利。

BERT模型是预训练语言模型的代表之一，旨在通过联合调节左右上下文来预训练深度双向表示，主要分为两个阶段：预训练(Pre-training)和微调(Fine-tuning)。预训练阶段模型通过两种预训练任务来训练无标注数据，包括遮蔽语言模型任务和下一句话预测任务。微调阶段模型使用预训练参数初始化，然后使用下游任务的标注数据来微调参数。由于BERT模型结构简单且极具有效性，陆续出现了众多在其基础上进行改进的模型，对于英语外的其他常用语言，研究人员也提出了针对不同语言的预训练模型。汉语是世界上现存历史最悠久的自然语言，包含口语和书面语两部分，在其3000年历史中，存在两种发展形态，古代书面汉语被称为文言文，现代书面汉语被称为白话文。针对中文的预训练语言模型研究近年来引起广泛关注，现有的中文预训练模型处理中文的能力已经在BERT模型的基础上得到进一步提升。然而，中文预训练语言模型仍然存在需要解决的关键挑战：

(1)没有根据文言文的特点提出针对性改进的模型。现有的中文预训练语言模型大多集中在白话文上，而现有的文言文预训练语言模型仅使用文言语料进行预训练，没有针对性地修改模型结构和优化训练过程。因此，设计出符合文言文特点的预训练语言模型已成为一个亟待解决的技术问题。

(2)没有考虑到文言文和白话文的内在联系。如前所述，文言文和白话文是同一种语言在不同时期的两种发展形态，尽管在语法和词义上均有较大差别，但在构词方法和基本词汇的一致性上有着内在的联系。因此，建立文言文和白话文联合预训练框架能够充分利用它们的内在一致性，增强模型对于中文语料的表示能力，是中文预训练语言模型未来研究的一个重要方向。

发明内容