[发明专利]一种语料增强方法、装置、计算机设备以及可读存储介质

说明书

本发明属于人工智能技术领域，提供一种语料增强方法、装置、计算机设备以及可读存储介质，所述语料增强方法包括：获取词典和语料库，根据第一词频和第二词频，将所述语料库中无标签的语料进行向量化，获取N维特征矩阵；获取所述语料库中的标签，根据所述标签，将所述N维特征矩阵进行矩阵化，获取用于承载标签与单词的语义的第一矩阵和用于承载标签与语料的语义的第二矩阵；获取所述第一矩阵和所述第二矩阵的相似度，并根据所述相似度，将所述标签分配给所述无标签的语料。增强后的语料能够映射出标签、语料库、词典以及无标签的语料之间的关联关系，提高分配给无标签的语料的标签的置信度，达到为模型训练提供高质量语料的目的。

技术领域

本发明设计人工智能技术领域，特别是涉及一种语料增强方法、装置、计算机设备以及可读存储介质。

背景技术

近些年来，随着人工智能(Artificial Intelligence，AI)技术的发展，促进了自然语言处理(Natural Language Processing,NLP)的技术进步，自然语言处理的精度越来越高。在自然语言处理模型的训练中，需要大量的模型数据，尤其是在一些处理任务中，往往存在模型数据的数据量不足，标注困难大，标注不精确的特点。因此，需要对已标注的语料库做数据增强处理，扩充更多高质量的语料。

目前，语料增强方法包括同义词替换、实体替换、文本生成等方法，达到替换和生成增强语料的目的，然而增强的语料可能会改变语料的情感，导致质量较低，不利于自然语言处理模型的训练。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种语料增强方法、装置、计算机设备以及可读存储介质，用于解决现有技术中增强的语料质量较低的问题。

为实现上述目的及其他相关目的，本发明提供一种语料增强方法，包括：

获取词典和语料库，根据第一词频和第二词频，将所述语料库中无标签的语料进行向量化，获取N维特征矩阵，其中，所述第一词频包括所述无标签的语料的单词在无标签的语料中的词频，所述第二词频包括所述无标签的单词在所述语料库中的词频，N为所述词典中单词的数量；

获取所述语料库中的标签，根据所述标签，将所述N维特征矩阵进行矩阵化，获取用于承载标签与单词的语义的第一矩阵和用于承载标签与语料的语义的第二矩阵；

获取所述第一矩阵和所述第二矩阵的相似度，并根据所述相似度，将所述标签分配给所述无标签的语料。

可选的，所述第一词频的数学表达为：

其中，f1为所述第一词频，f_ji为词典中第j个词在无标签的语料中的频数，f_i为无标签的语料中单词的总频数。

可选的，所述第二词频的数学表达为：

其中，f2为所述第二词频，d为语料库中语料的总数，d_j为语料库中包含词典中第j个词的语料的数量。

可选的，所述N维特征矩阵的数学表达为：

其中，Doc_i为第i条所述无标签的语料所对应的N维特征矩阵，T_j为所述词典中的第j个单词，W_ji为T_j对Doc_i影响权重，f_ji为词典中第j个词在无标签的语料中的频数，f_i为无标签的语料中单词的总频数，d为语料库中语料的总数，d_j为语料库中包含词典中第j个词的语料的数量。