[发明专利]预训练模型获取、疾病实体标注方法、装置及存储介质

说明书

本发明涉及人工智能技术领域，尤其涉及到自然语言处理的疾病实体标注领域，公开了一种预训练模型获取方法、疾病实体标注方法、装置及存储介质，能有效地提高预训练效率。方法部分包括：获取第一中文语料，并对所述第一中文语料进行分词处理，得到初步分词结果；对所述初步分词结果的非常用词进行词切分，以获取目标分词结果；根据所述目标分词结果创建预训练模型的中文词汇表；利用所述中文词汇表对所述预训练模型进行预训练，以获取目标预训练模型。

技术领域

本发明涉及人工智能技术领域，具体涉及自然语言处理的疾病实体标注应用领域，尤其涉及了一种预训练模型获取、疾病实体标注方法、装置及存储介质。

背景技术

迁移学习，在深度学习领域中是一种很流行的方法，通过迁移学习可以建立精确的模型，耗时更短。利用迁移学习，不是从零开始学习，而是从之前解决各种问题时学到的模型中开始，避免从零开始训练模型。

迁移学习通常是通过使用预训练模型(pretrain models)来表示，预训练模型是在大型基准数据集上训练得到的模型，例如BERT等大型预训练语言模型，其利用在大量语料进行预训练得到，预训练模型的提出，只需在预训练模型后接上特定地网络结构，即能完成某种特定任务，例如疾病实体标注。

现有技术中，在训练中文的预训练模型时，利用的中文词汇表中，是将中文字单独拆拆开，也就是一个字一个字组成的词汇表。很明显，由于中文文字较多，这样的中文词汇表，其词表的文字量比较巨大，通常有至少两2万以上的字量，使得模型参数量较大，特别是用于训练较小模型时候，大词表将导致模型参数量降低不下去，在实际工业应用时候，也容易使得模型体积大，推理速度慢，训练效率较低。

发明内容

本发明提供一种基于词汇表的预训练模型获取方法、基于预训练模型的疾病实体标注方法、装置及存储介质，以解决现有技术中预训练模型体积大，推理速度慢，导致训练效率较低的问题。

一种基于词汇表的预训练模型获取方法，包括：

获取第一中文语料，并对所述第一中文语料进行分词处理，得到初步分词结果；

对所述初步分词结果的非常用词进行词切分，以获取目标分词结果；

根据所述目标分词结果创建预训练模型的中文词汇表；

利用所述中文词汇表对所述预训练模型进行预训练，以获取目标预训练模型。

一种基于预训练模型的疾病实体标注方法，包括：

获取经过人工标注疾病实体的实体标注文本训练数据；

利用所述实体标注文本训练数据对目标预训练模型进行微调，以获取疾病实体标注模型，所述目标预训练模型为经过如权利要求1-6任一项所述预训练模型获取方法所获取的预训练模型；

在需对待识别医用文本进行疾病实体标注时，将所述待识别医用文本输入至所述疾病实体标注模型中，以获取所述疾病实体标注模型输出的疾病实体标注结果。

一种基于词汇表的预训练模型获取装置，包括：

第一分词模块，用于获取第一中文语料，并对所述第一中文语料进行分词处理，得到初步分词结果；

第二分词模块，用于对所述初步分词结果的非常用词进行词切分，以获取目标分词结果；

创建模块，用于根据所述目标分词结果创建预训练模型的中文训练词汇表；

预训练模块，用于利用所述中文词汇表对所述预训练模型进行预训练，以获取目标预训练模型。

一种基于预训练模型的疾病实体标注装置，包括：

获取模块，用于获取经过人工标注疾病实体的实体标注文本训练数据；