[发明专利]一种数据增强方法和装置

权利要求书

1.一种数据增强方法，其特征在于，包括：

采用分词器对原始词向量训练数据中的标题进行分词，得到多个分词；

分别确定相邻两个分词之间的关联性，将具有强关联性的两个分词作为一个短语加入到结果序列中，将具有弱关联性的两个分词分别加入到结果序列中；

随机打乱所述结果序列中的分词和短语的位序，将打乱后的结果序列作为新的词向量训练数据。

2.根据权利要求1所述的方法，其特征在于，分别计算相邻两个分词之间的关联性，包括：

通过以下公式分别计算相邻两个分词的点互信息，

其中，x、y分别表示相邻的两个分词，PMI(x,y)表示分词x、分词y的点互信息，P(x,y)表示分词x、分词y共同出现的概率，P(x)表示分词x出现的概率，P(y)表示分词y出现的概率；

根据所述点互信息和超参数的乘积与随机数的差值，确定所述相邻两个分词之间的关联性；其中，所述超参数大于0并且小于1，所述随机数大于0并且小于1。

3.根据权利要求2所述的方法，其特征在于，根据所述点互信息和超参数的乘积与随机数的差值，确定相邻两个分词之间的关联性，包括：

若所述点互信息和超参数的乘积大于所述随机数，则确定所述两个分词之间具有强关联性；

若所述点互信息和超参数的乘积小于等于所述随机数，则确定所述两个分词之间具有弱关联性。

4.根据权利要求1所述的方法，其特征在于，随机打乱所述结果序列中的分词和短语的位序，将打乱后的结果序列作为新的词向量训练数据，包括：

将每个所述结果序列中的分词和短语的位序随机打乱N次，将得到的N*M个打乱后的结果序列作为新的词向量训练数据；

其中，N为正整数，M为原始词向量训练数据中的标题数量，并且M为正整数。

5.根据权利要求1所述的方法，其特征在于，采用分词器对标题进行分词，得到多个分词，包括：

采用条件随机场模型作为分词器，对原始词向量训练数据中的标题进行分词，得到多个分词。

6.一种数据增强装置，其特征在于，包括：

分词模块，用于采用分词器对原始词向量训练数据中的标题进行分词，得到多个分词；

关联模块，用于分别确定相邻两个分词之间的关联性，将具有强关联性的两个分词作为一个短语加入到结果序列中，将具有弱关联性的两个分词分别加入到结果序列中；

打乱模块，用于随机打乱所述结果序列中的分词和短语的位序，将打乱后的结果序列作为新的词向量训练数据。

7.根据权利要求6所述的装置，其特征在于，分别计算相邻两个分词之间的关联性，包括：

通过以下公式分别计算相邻两个分词的点互信息，

其中，x、y分别表示相邻的两个分词，PMI(x,y)表示分词x、分词y的点互信息，P(x,y)表示分词x、分词y共同出现的概率，P(x)表示分词x出现的概率，P(y)表示分词y出现的概率；

根据所述点互信息和超参数的乘积与随机数的差值，确定所述相邻两个分词之间的关联性；其中，所述超参数大于0并且小于1，所述随机数大于0并且小于1。

8.根据权利要求7所述的装置，其特征在于，根据所述点互信息和超参数的乘积与随机数的差值，确定相邻两个分词之间的关联性，包括：

若所述点互信息和超参数的乘积大于所述随机数，则确定所述两个分词之间具有强关联性；

若所述点互信息和超参数的乘积小于等于所述随机数，则确定所述两个分词之间具有弱关联性。

9.根据权利要求6所述的装置，其特征在于，所述打乱模块用于：

将每个所述结果序列中的分词和短语的位序随机打乱N次，将得到的N*M个打乱后的结果序列作为新的词向量训练数据；

其中，N为正整数，M为原始词向量训练数据中的标题数量，并且M为正整数。