[发明专利]一种数据筛选方法及装置

权利要求书

1.一种语音数据筛选方法，其特征在于，包括：

利用第一时长的语音数据，训练得到声学模型；

将目标语音集合中的语音数据作为所述声学模型的输入，利用该声学模型，从目标语音集合中筛选出声学预测难度高的语音数据，形成第二时长的语音数据；

其中，所述第一时长的语音数据，包括从初始语音集合中随机挑选的数据，以及本次从目标语音集合中筛选第二时长的语音数据之前已经筛选出的一组或多组第二时长的语音数据；

语音数据的声学预测难度根据对语音数据进行声学预测时的可确定性和/或可区分性而确定；

所述可确定性由对语音数据进行声学预测时的最大后验概率而确定，所述可区分性由对语音数据进行声学预测时的最大后验概率和次大后验概率而确定。

2.根据权利要求1所述的方法，其特征在于，所述利用该声学模型，从目标语音集合中筛选出声学预测难度高的语音数据，形成第二时长的语音数据，包括：

利用所述声学模型，得到目标语音集合中的每一语音单元中的每一语音帧在进行声学预测时的可确定性和/或可区分性；

根据得到的可确定性和/或可区分性，从所述目标语音集合中筛选出声学预测难度高的语音数据，形成第二时长的语音数据。

3.根据权利要求2所述的方法，其特征在于，

所述可确定性为对应语音帧的最大后验概率，所述最大后验概率为对应语音帧属于各个语音类别时的各个后验概率中的最大概率；

所述可区分性为对应语音帧的最大后验概率和次大后验概率的差值，所述最大后验概率和次大后验概率分别为对应语音帧属于各个语音类别时的各个后验概率中的最大概率和次大概率。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

采用所述第二时长的语音数据，训练所述声学模型；

或者，采用所述第一时长的语音数据与所述第二时长的语音数据，共同训练所述声学模型。

5.一种文本数据筛选方法，其特征在于，包括：

利用第一数量的文本数据，训练得到文本领域分类模型；

将第一目标文本集合中的文本数据作为所述文本领域分类模型的输入，利用所述文本领域分类模型，从第一目标文本集合中筛选出在进行特定领域预测时的预测难度高的文本数据，形成第二数量的文本数据；

其中，所述第一数量的文本数据，包括从初始文本集合中随机挑选的数据，以及本次从第一目标文本集合中筛选第二数量的文本数据之前已经筛选出的一组或多组第二数量的文本数据；

文本数据在被所述文本领域分类模型进行特定领域预测时的预测难度，根据文本数据在被所述文本领域分类模型进行特定领域预测时、该文本数据属于特定领域类别和非特定领域类别的后验概率中的最大概率而确定。

6.根据权利要求5所述的方法，其特征在于，所述从第一目标文本集合中筛选出在进行特定领域预测时的预测难度高的文本数据，形成第二数量的文本数据，包括：

通过将所述文本领域分类模型的部分网络节点置0，得到N种置0方式下的所述文本领域分类模型；

利用N种置0方式下的所述文本领域分类模型，从第一目标文本集合中筛选出在进行特定领域预测时的预测难度高的文本数据，形成第二数量的文本数据。

7.根据权利要求6所述的方法，其特征在于，所述利用N种置0方式下的所述文本领域分类模型，从第一目标文本集合中筛选出在进行特定领域预测时的预测难度高的文本数据，形成第二数量的文本数据，包括：

利用N种置0方式下的所述文本领域分类模型，生成第一目标文本集合中的每一文本单元的N个最大后验概率，所述最大后验概率为对应文本单元属于特定领域类别和非特定领域类别时的后验概率中的最大概率；

根据生成的各个最大后验概率，从第一目标文本集合中筛选第二数量的文本数据。