[发明专利]文本数据增强方法、系统和计算机设备和存储介质

说明书

本申请涉及一种文本数据增强方法、系统和计算机可读存储介质，其中，该方法包括：从一文本训练数据集中提取实体，并利用一预训练模型从每一实体中获取其对应的词向量；通过聚类将词向量对应的实体划分至对应的类簇，构建一实体类簇字典；选定目标文本并确定目标文本对应的待替换实体，根据实体类簇字典选取替换实体完成替换，生成增强样本数据集。本申请使用预训练模型获取实体的词向量时，把实体当做整体，进行预训练模型的二次训练，进而可以直接获取实体词向量的方法，并利用词向量对实体进行更细致的聚类划分，以实现文本数据增强，且避免在此过程中引入不必要的噪音。

技术领域

本申请涉及数据处理技术领域，特别是涉及文本数据增强方法、系统和计算机可读存储介质。

背景技术

近年来，随着深度学习技术的发展，各种神经网络模型被广泛应用于命名实体识别任务，并且取得了不错的效果。深度学习技术使用神经网络模型自动从数据中挖掘特征，往往需要大量高质量的数据作为训练样本支撑，才具有较高的数据泛化能力。显然，在目前的实际工程应用中，普遍存在数据量较少而且数据不平衡等情况，使得模型在训练数据上非常容易过拟合，影响模型的泛化能力。并且人工标注新的数据会带来较高的人力时间成本。为了解决该问题，文本数据增强是一种非常有效的数据扩充方法。

数据增强技术作为扩充训练集的重要手段，常用来生成更多的新数据补充文本训练数据集，进而提高模型的泛化能力。数据增强技术的核心在于，不改变数据本身所表达的含义，使用数据的另一种表现形式作为新样本来补充训练数据。文本领域最常用的数据增强方式是词汇替换和反向翻译。词汇替换是指从文本中随机选取一个或多个词，利用同义词词典随机选择同义词进行词汇替换，获取新样本数据。反向翻译是指利用机器翻译技术将目标文本翻译为另一语种表示，再将另一语种表示翻译回来，获取目标文本的相同语义表示。在实体识别任务中通常使用词汇替换作为数据增强的主要方式。具体的待替换词为文本中的实体，替换词可以选择同义词，也可以选择相同实体类别的其他实体。比如：识别文本中的机构，“小明毕业于清华大学”，待替换词为“清华大学”,替换词为同义词“清华”，也可以为相同实体类别其他实体“北京大学”。然而一个高质量的同义词词典的建立和完善是件十分困难的事情，需要时间的积累以及专家的协助。而且选择相同实体类别的其他实体作为替换词可能会生成不符常理的新样本，进而会引入不必要的噪音。比如，“***公司”同样是机构名，替换后变成“他毕业于***公司”，显然，这并不是一个可用的新样本。

目前针对相关技术中数据增强过程中引入噪音的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种文本数据增强方法、系统和计算机可读存储介质，以至少解决相关技术中数据增强过程中引入噪音的问题。

第一方面，本申请实施例提供了一种文本数据增强方法，包括以下步骤：

词向量获取步骤，从一文本训练数据集中提取实体，并利用一预训练模型从每一实体中获取其对应的词向量；

实体聚类步骤，通过聚类将词向量对应的实体划分至对应的类簇，构建一实体类簇字典；

实体替换步骤，选定目标文本并确定目标文本对应的待替换实体，根据实体类簇字典选取替换实体完成替换，生成增强样本数据集。

在其中一些实施例中，词向量获取步骤进一步包括：

模型一次训练步骤，利用通用语料训练预设网络结构并获取预训练模型；

词表重构步骤，获取文本训练数据集中的所有实体，对所有实体进行编码获得实体编码，并将实体编码加入预训练模型的词表中，对词表进行重构；

模型二次训练步骤，根据文本训练数据集获取无标注文本语料，基于重构后的词表利用实体编码替换无标注文本中的对应实体，并根据替换后的无标注文本训练预训练模型，并保存二次训练后的预训练模型；