[发明专利]一种数据筛选方法及装置

说明书

本申请公开了一种数据筛选方法及装置，该方法包括：基于对数据特征的学习需求，采用预设的筛选策略在待筛选的数据集合中进行数据筛选，得到筛选数据，其中，该筛选数据中携带了未学习到的数据特征。可见，基于对数据特征的学习需求，预先制定数据筛选策略，以在待筛选的数据集合中进行数据筛选，使筛选出的数据携带有当前未学习到的数据特征，进而，可以基于这些筛选出的有限数据资源进行特征学习，即，实现了在低资源条件下的特征学习。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据筛选方法及装置。

背景技术

随着语音识别技术的不断发展，语音识别在很多场合都有了实际的应用，例如语音输入法、会议转写、影视字幕生成等领域，优秀的语音识别技术对提高这些领域的效果起着举足轻重的作用，因此也得到了学者们越来越多的研究和关注。近年来，随着深度学习的快速发展，使得目前的语音识别系统中的声学模型和语言模型基本上是基于各类神经网络构建的模型，而神经网络模型往往需要大量的训练样本作为支撑，而如何在低资源条件下提高语音识别系统的性能成为越来越多的学者研究的重点。

实际中，需要利用大量的样本数据来训练声学模型和语言模型，而现有的声学模型和语言模型在数据标注阶段，都是随机挑选若干样本数据进行标注，从而完成后续模型的训练，而这些随机挑选出来的样本数据是否是模型真正要学习的样本确不得而知，故而，无法保证声学模型和语言模型的效果。

发明内容

本申请实施例的主要目的在于提供一种数据筛选方法及装置，能够筛选出所需学习的数据。

本申请实施例提供了一种语音数据筛选方法，包括：

利用第一时长的语音数据，训练得到声学模型；

利用所述声学模型从目标语音集合中筛选第二时长的语音数据，所述第二时长的语音数据在被所述声学模型进行声学预测时的预测难度高。

可选的，所述利用所述声学模型从目标语音集合中筛选第二时长的语音数据，包括：

利用所述声学模型，得到目标语音集合中的每一语音单元中的每一语音帧在进行声学预测时的可确定性和/或可区分性；

根据得到的可确定性和/或可区分性，从所述目标语音集合中筛选第二时长的语音数据。

可选的，所述可确定性为对应语音帧的最大后验概率，所述最大后验概率为对应语音帧属于各个语音类别时的各个后验概率中的最大概率；所述可区分性为对应语音帧的最大后验概率和次大后验概率的差值，所述最大后验概率和次大后验概率分别为对应语音帧属于各个语音类别时的各个后验概率中的最大概率和次大概率。

可选的，所述方法还包括：采用所述第二时长的语音数据，训练所述声学模型；或者，采用所述第一时长的语音数据与所述第二时长的语音数据，共同训练所述声学模型。

本申请实施例还提供了一种文本数据筛选方法，包括：

利用第一数量的文本数据，训练得到文本领域分类模型；

利用所述文本领域分类模型，从第一目标文本集合中筛选第二数量的文本数据，所述第二数量的文本数据在被所述文本领域分类模型进行特定领域预测时的预测难度高。

可选的，所述从第一目标文本集合中筛选第二数量的文本数据，包括：

通过将所述文本领域分类模型的部分网络节点置0，得到N种置0方式下的所述文本领域分类模型；

利用N种置0方式下的所述文本领域分类模型，从第一目标文本集合中筛选第二数量的文本数据。

可选的，所述利用N种置0方式下的所述文本领域分类模型，从第一目标文本集合中筛选第二数量的文本数据，包括：