[发明专利]基于多示例学习的自动语音识别困难样本挖掘方法

权利要求书

1.基于多示例学习的自动语音识别困难样本挖掘方法，其特征在于，具体包括以下步骤：

步骤一、收集语料数据建立数据集

步骤二、选取训练数据：

将数据集按照语料时长进行排序，使用均匀采样获得训练集数据集中除训练集之外的剩余集合

步骤三、对训练集进行人工标注，得到标注好的训练集

步骤四、使用标注好的训练集建立困难样本检测模型，并对其进行训练；

步骤五、无标注困难样本挖掘：

使用步骤四中训练好的困难样本检测模型在剩余集合上挖掘候选困难样本；

步骤六、困难样本筛选与标注：

对步骤五中检测到的候选困难样本进行人工确认，同时将人工确认后的困难样本进行标注。

2.根据权利要求1所述基于多示例学习的自动语音识别困难样本挖掘方法，其特征在于，步骤四中所述困难样本检测模型具体为：

其中，X_i是标注好的训练集中的第i个语句，而是第i个语句中第k个词左右扩展三个词后形成的上下文窗口；Y_i是第i个语句对应的标签，是第i个语句中第k个词对应的标签；i＝1，...，n；n表示训练集中样本的数目；k＝1，...，N；N表示每个语句中词的数目。

3.根据权利要求1或2所述基于多示例学习的自动语音识别困难样本挖掘方法，其特征在于，步骤四中对困难样本检测模型进行训练，得到模型参数，具体为：

a_i＝g(e_i)

其中，Φ(·)是转录文本中词的特征提取网络，g(·)是注意力激活函数，是词的特征向量，W、V是权值矩阵，a_i是词的特征向量的评分，e_i是词的特征向量的注意力权值；上标T表示转置；表示a_i中的第j个元素；表示预测值，预测值属于[0，1]；Ψ(·)表示分类器网络。

4.根据权利要求3所述基于多示例学习的自动语音识别困难样本挖掘方法，其特征在于，所述注意力激活函数g(·)采用softmax(·)或sparsemax(·)。