[发明专利]基于多模态的响应义务检测方法、系统及装置

权利要求书

1.一种基于多模态的响应义务检测方法，应用于电子装置，其特征在于，所述方法包括：

获取训练数据样本，并将所述训练数据样本保存至训练样本数据集；

使用所述训练样本数据集对预设的响应义务检测模型进行训练，以使所述响应义务检测模型达到预设精度；其中，所述响应义务检测模型用于对输入数据信息进行声学特征提取和语义特征提取，并根据提取的声学特征和语义特征对所述输入数据信息进行响应义务检测；

利用训练完成的响应义务检测模型对待检测目标域数据进行检测，以判断系统是否需对所述待检测目标域数据进行响应。

2.根据权利要求1所述的基于多模态的响应义务检测方法，其特征在于，在所述响应义务检测模型对所述输入数据信息进行声学特征提取的过程中：

使用梅尔倒频谱网络或感知线性预测网络对所述输入数据信息进行处理，以获取所述输入数据信息的声学特征。

3.根据权利要求2所述的基于多模态的响应义务检测方法，其特征在于，在所述响应义务检测模型对所述输入数据信息进行语义特征提取的过程中：

使用ASR网络对所述输入数据信息或声学特征进行处理，以获取所述输入数据信息的语义特征。

4.根据权利要求3所述的基于多模态的响应义务检测方法，其特征在于，

所述训练样本数据集存储于区块链中；并且，

所述训练数据样本包括目标域数据样本和源域数据样本，在使用所述训练样本数据集对预设的响应义务检测模型进行训练的过程中，使用所述目标域数据样本和所述源域数据样本对所述响应义务检测模型进行训练。

5.根据权利要求4所述的基于多模态的响应义务检测方法，其特征在于，所述响应义务检测模型还包括第一对抗网络和第二对抗网络，并且，在使用所述训练样本数据集对预设的响应义务检测模型进行训练的过程中，

所述第一对抗网络用于对所述响应义务检测模型提取的目标域声学特征和源域声学特征进行对抗训练，以使所述响应义务检测模型的声学特征提取精度达到预设精度；

所述第二对抗网络用于对所述响应义务检测模型提取的目标域语义特征和源域语义特征进行对抗训练，以使所述响应义务检测模型的语义特征提取精度达到预设精度。

6.根据权利要求5所述的基于多模态的响应义务检测方法，其特征在于，所述响应义务检测模型还包括总分类器网络，所述总分类网络用于根据所述声学特征和所述语义特征计算最终响应义务概率。

7.根据权利要求6所述的基于多模态的响应义务检测方法，其特征在于，根据所述声学特征和所述语义特征计算最终响应义务概率的方法包括：

先根据所述声学特征和所述语义特征分别计算出声学响应义务概率和语义响应义务概率，然后根据所述声学响应义务概率和所述语义响应义务概率计算所述最终响应义务概率；其中，

计算所述声学响应义务概率的损失函数为:

其中，P(x1)为声学响应义务概率，y为训练数据样本的真实值，{S}为训练样本数据集，x1为计算所述声学响应义务概率时所用到的{S}中的训练数据样本；

计算所述语义响应义务概率的损失函数为:

其中，P(x2)为声学响应义务概率，y为训练数据样本的真实值，{S}为训练样本数据集，x2为计算所述语义响应义务概率时所用到的{S}中的训练数据样本；

计算所述最终响应义务概率的损失函数为：

L_y＝a*L_y^speech+b*L_y^semantic

其中，a+b＝1,a和b分别为声学特征和语义特征所占的预设权重。