[发明专利]数据增强方法和装置

权利要求书

1.一种用于增强语料库中的数据对象的数据增强方法，包括：

针对所述语料库中的至少一部分数据对象中的每个数据对象：

将所述数据对象分解成多个词语；

计算所述多个词语中的每个词语的重要性得分，所述重要性得分表示该词语是所述数据对象的主题词的概率；

基于所述重要性得分，按特定概率对所述多个词语进行抽取，使得所述重要性得分越高的词语被抽取到的概率越小；以及

针对抽取到的每个词语进行替换、删除以及插入中的至少一个的处理，从而获得所述数据对象的增强数据对象。

2.根据权利要求1所述的数据增强方法，其中，

通过以下步骤计算每个词语的重要性得分：

统计所述语料库的主题-词共现频率矩阵；

根据所述矩阵计算p(topic)和p(word|topic)，其中p(topic)表示所述数据对象所属的主题在所述语料库中出现的概率，p(word|topic)表示在所述主题中出现所述词语的概率；以及

计算p(topic)与p(word|topic)之积，作为所述重要性得分。

3.根据权利要求2所述的数据增强方法，其中，

通过以下公式计算所述特定概率：

T＝min(a(C-score),1)，

其中，T表示所述特定概率，

运算符min表示取括号中的数值中的较小数值，

score＝p(topic)*p(word|topic)，即，表示所述重要性得分，

C＝max(score)，表示所述数据对象中的各个词语的重要性得分中的最高重要性得分，以及

a为超参数，取值为大于0的实数。

4.根据权利要求1所述的数据增强方法，还包括：

对所述增强数据对象或所述数据对象进行回译，并将回译结果作为新的增强数据对象。

5.根据权利要求4所述的数据增强方法，所述回译包括：

将所述增强数据对象或所述数据对象从原始语言翻译成一种或多种其他语言，然后翻译回所述增强数据对象或所述数据对象的原始语言。

6.根据权利要求4或5所述的数据增强方法，所述回译包括以下中的一者或两者：

使用翻译模型和集束搜索算法进行回译；和

使用翻译工具进行回译。

7.一种用于增强语料库中的数据对象的装置，包括：

一个或多个处理器；和

存储器，其上存储有可执行指令，所述可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器：

针对所述语料库中的至少一部分数据对象中的每个数据对象：

将所述数据对象分解成多个词语；

计算所述多个词语中的每个词语的重要性得分，所述重要性得分表示该词语是所述数据对象的主题词的概率；

基于所述重要性得分，按特定概率对所述多个词语进行抽取，使得所述重要性得分越高的词语被抽取到的概率越小；以及

针对抽取到的每个词语进行替换、删除以及插入中的至少一个的处理，从而获得所述数据对象的增强数据对象。

8.根据权利要求7所述的装置，其中，

通过以下处理计算每个词语的重要性得分：

统计所述语料库的主题-词共现频率矩阵；

根据所述矩阵计算p(topic)和p(word|topic)，其中p(topic)表示所述数据对象所属的主题在所述语料库中出现的概率，p(word|topic)表示在所述主题中出现所述词语的概率；以及

计算p(topic)与p(word|topic)之积，作为所述重要性得分。