[发明专利]数据增强方法与装置

说明书

本公开提供一种数据增强方法与装置。数据增强方法包括：对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；根据所述特征值和所述词汇对所述训练语句进行噪声处理；将噪声处理后的训练语句与原有训练语句合并为新训练语句集。本公开提供的数据增强方法可以在弥补模型训练数据不足的同时提高新生成的训练数据的准确度。

技术领域

本公开涉及机器学习技术领域，具体而言，涉及一种数据增强方法与装置。

背景技术

深度学习神经网络模型的训练效果很大程度依赖于训练数据，大量的特征多样的数据能得到更好的训练效果。而现实中，大量的数据往往不易获得，需要大量的人工标注，消耗财力物力人力。数据增强是解决训练数据不丰富的一个有效手段。数据增强指的是对有限训练数据通过某种变换操作，从而生产新数据的过程。通过数据增强可以得到更丰富的训练数据，从而提高模型效果。

客服机器人是数据增强的一个新的应用领域。随着咨询量的增加，对顾客输入的语句进行情绪判断可以提高客服机器人应对咨询的准确性，因此，需要使用大量的训练数据训练客服机器人识别语句表达的情绪，为了弥补训练数据的不足，需要对部分训练语句进行数据增强。噪声处理是一种常用的数据增强手段，即通过对原有训练数据中的元素进行随机替换而获得新的训练数据。在语义识别领域的数据增强过程中，往往根据英语习惯将文本中的单个汉字进行随机的噪声替换，以产生新的文本训练数据。但是在汉语中，单个字往往不能正确表达情感倾向，若是以汉字为单位进行噪声随机替换，会破坏原本文本中以该汉字为基础构成词的释义。在情感分类中，考虑到某些词对情感的指向性程度尤其明显，例如“滚蛋”、“谢谢”等词，能十分明显的表现为生气或开心的情绪，若将该类词进行噪声处理，将会影响对文本情感的分析判断。

因此，需要一种能够适用于客服机器人识别语义情感的训练数据增强方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据增强方法与数据增强装置，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的在数据增强过程中使用文字随机替换破坏原训练数据语义的问题。

根据本公开实施例的第一方面，提供一种数据增强方法，包括：对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；根据所述特征值和所述词汇对所述训练语句进行噪声处理；将噪声处理后的训练语句与原有训练语句合并为新训练语句集。

在本公开的一种示例性实施例中，所述根据所述特征值和所述词汇对所述训练语句进行噪声处理包括：

计算每个所述词汇的词频total、后接词的种类数distinct；

将所述特征值大于第一预设值或者所述词频小于第二预设值的词汇的被替换概率P1设置为0；

将所述词频大于第三预设值的词汇的被替换概率P2设置为第一参数λ；

将词频在所述第二预设值和所述第三预设值之间且特征值小于等于所述第一预设值的词汇的被替换概率设置为P3＝λ*distinct/total；

对所述训练语句中的所述词汇按照其对应的所述被替换概率进行替换。

在本公开的一种示例性实施例中，所述对所述训练语句中的所述词汇按照其对应的所述被替换概率进行替换包括：

将每个所述词汇在全部所述训练语句中的出现概率作为该词汇的参与替换概率；

按所述参与替换概率选择替换用词，按照所述被替换概率在多个相同词汇中选择被替换词；