[发明专利]数据增强方法与装置

权利要求书

1.一种数据增强方法，其特征在于，包括：

对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；

对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；

根据所述特征值和所述词汇对所述训练语句进行噪声处理；

将噪声处理后的训练语句与原有训练语句合并为新训练语句集。

2.如权利要求1所述的数据增强方法，其特征在于，所述根据所述特征值和所述词汇对所述训练语句进行噪声处理包括：

计算每个所述词汇的词频total、后接词的种类数distinct；

将所述特征值大于第一预设值或者所述词频小于第二预设值的词汇的被替换概率P1设置为0；

将所述词频大于第三预设值的词汇的被替换概率P2设置为第一参数λ；

将词频在所述第二预设值和所述第三预设值之间且特征值小于等于所述第一预设值的词汇的被替换概率设置为P3＝λ*distinct/total；

对所述训练语句中的所述词汇按照其对应的所述被替换概率进行替换。

3.如权利要求2所述的数据增强方法，其特征在于，所述对所述训练语句中的所述词汇按照其对应的所述被替换概率进行替换包括：

将每个所述词汇在全部所述训练语句中的出现概率作为该词汇的参与替换概率；

按所述参与替换概率选择替换用词，按照所述被替换概率在多个相同词汇中选择被替换词；

使用所述替换用词替换所述被替换词。

4.如权利要求1所述的数据增强方法，其特征在于，所述对多个带有种类标识的训练语句进行分词包括：

确定每个所述种类标识对应的训练语句的数量；

对数量符合预设条件的种类标识对应的训练语句进行分词。

5.如权利要求4所述的数据增强方法，其特征在于，所述对数量符合预设条件的种类标识对应的训练语句进行分词包括：

根据种类标识对应的训练语句的数量与全部训练语句数量的比值确定n个种类标识对应的n个数量占比；

在所述n个数量占比的标准差大于第四预设值时，将大于第五预设值且小于第六预设值的数量占比对应的种类标识作为待增强种类标识；

在所述n个数量占比的标准差小于等于第四预设值时，将对应的训练语句的数量小于第七预设值的种类标识作为待增强种类标识；

对所述待增强种类标识对应的训练语句进行分词。

6.如权利要求1所述的数据增强方法，其特征在于，所述种类标识包括情绪标识。

7.如权利要求1所述的数据增强方法，其特征在于，还包括：

在对每个词汇标识所述训练语句对应的种类标识的同时计算并记录每个所述词汇的词向量：

根据所述新训练语句集中的训练语句的词向量对预设模型进行训练。

8.一种数据增强装置，其特征在于，包括：

分词模块，设置为对多个带有种类标识的训练语句进行分词，并对每个词汇标识所述训练语句对应的种类标识；

卡方检验模块，设置为对所述词汇做卡方检验以得到每个所述词汇对其对应的种类标识的特征值；

噪声处理模块，设置为根据所述特征值和所述词汇对所述训练语句进行噪声处理；

合集模块，设置为将噪声处理后的训练语句与原有训练语句合并为新训练语句集。

9.一种电子设备，其特征在于，包括：

存储器；以及

耦合到所属存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-7任一项所述的数据增强方法。

10.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如权利要求1-7任一项所述的数据增强方法。