[发明专利]语料的处理方法、装置、存储介质及处理器

说明书

本发明公开了一种语料的处理方法、装置、存储介质及处理器。其中，该方法包括：获取待识别的词句；采用新词发现模型处理词句，识别出至少一个候选语料，其中，新词发现模型为采用深度学习模型训练得到的语料模型；从至少一个候选语料中确定目标语料，其中，目标语料为从词句中识别出来的新词汇。本发明解决了现有技术中获取术语过程效率低的技术问题。

技术领域

本发明涉及充电领域，具体而言，涉及一种语料的处理方法、装置、存储介质及处理器。

背景技术

术语是指在特定专业领域中一般概念的指称。面向电力这个垂直领域中，对不经过处理的原始语料进行词语分析时，未登陆词是一个很大的问题。未登录词是指没有被收录在分词词表中但必须切分出来的词，包括各类专有名词(人名、地名、企业名等)、缩写词、新增词汇等。而且未登陆词大多是电力领域的专业术语，因此术语发现是一个需要迫切解决的问题。术语的发现直接影响语料库的好坏，术语首先必须作为一个完整的语言单位出现，它必须具有出现频繁、结合紧密和使用自由的特点。其次术语作为专业领域中的一般概念，本身还应该有很强的领域性。术语提取的主要任务就是通过综合考察术语的上述特征，从待处理语料中提取出术语来。术语提取是自然语言处理的主要内容之一，在信息检索、信息提取、数据挖掘等领域都有广泛的应用。

专业术语库是提升分词准确性的重要支撑，也是开展特定领域自然语言处理及文本挖掘的基础。当前，电网公司数字化审计领域的各类审计对象、审计依据及审计结果均为电子文档，其中涉及到审计业务及电力相关专业领域的大量术语，有必要开展面向特定领域专业术语库技术研究，为各类审计非结构化文档处理提供基础。

但是，现有技术中针对自然语言处理中术语提取的过程，需要对语料进行分词处理，然后开展相应的新词发现任务，导致获取术语过程效率低的技术问题

针对上述现有技术中获取术语过程效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种语料的处理方法、装置、存储介质及处理器，以至少解决现有技术中获取术语过程效率低的技术问题。

根据本发明实施例的一个方面，提供了一种语料的处理方法，包括：获取待识别的词句；采用新词发现模型处理所述词句，识别出至少一个候选语料，其中，所述新词发现模型为采用深度学习模型训练得到的语料模型；从所述至少一个候选语料中确定目标语料，其中，所述目标语料为从所述词句中识别出来的新词汇。

可选地，在采用新词发现模型处理所述词句之前，所述方法还包括：获取样本语料库，其中，所述样本语料库包括：采集到的语料以及语料的标注信息；采用深度学习模型训练所述样本语料库中的语料，生成新词发现模型，其中，所述深度学习模型包括：预训练语言模型BERT和条件随机场模型CRF。

可选地，在获取样本语料库之前，所述方法还包括：获取语料，并对所述语料进行标注，生成所述样本语料库，其中，采用正则表达式对所述语料进行标注，并对无明显规则的语料的实体信息进行标注。

可选地，在对所述语料进行标注之前，所述方法还包括：对所述语料进行语料预处理，所述语料预处理包括如下至少之一：清除所述语料中的无效字符内容、将多行的语料拼接成一行，以及将所述语料中繁体转换成简体，其中，所述无效字符内容包括如下至少之一：所述语料的头尾空格、换行符号。

可选地，从所述至少一个候选语料中确定目标语料，包括：采用标准资料库对所述至少一个候选语料进行匹配过滤，筛选得到对应的所述目标语料，其中，所述标准资料库为预先设定的满足行业标准术语的术语资料。

可选地，在从所述至少一个候选语料中确定目标语料之后，所述方法还包括：采用所述目标语料更新样本语料库。