[发明专利]基于说话人分割的角色识别方法及装置

权利要求书

1.一种基于说话人分割的角色识别方法，其特征在于，包括：

将待识别会话语音转换为文本数据，基于句子切分模型将所述文本数据切分成多个句子，提取每个句子的文本特征；

对所述待识别会话语音切分，获取每个句子对应的音频段，提取每个音频段的声学特征；

基于注意力机制对每个句子对应的文本特征和声学特征进行对齐，生成每个句子对应的对齐向量；

根据每个句子对应的对齐向量、文本特征和声学特征，基于分类模型获取每个句子对应的说话人类别。

2.根据权利要求1所述的基于说话人分割的角色识别方法，其特征在于，所述基于句子切分模型将所述文本数据切分成多个句子，提取每个句子的文本特征，包括：

基于语言模型对所述文本数据进行编码，获取所述文本数据中每个字的隐层状态；

根据所述文本数据中每个字的隐层状态，基于句子切分模型将所述文本数据切分成多个句子；

将每个句子中所有字的隐层状态进行融合，获取每个句子的文本特征。

3.根据权利要求1所述的基于说话人分割的角色识别方法，其特征在于，所述基于注意力机制对每个句子对应的文本特征和声学特征进行对齐，生成每个句子对应的对齐向量，包括：

基于双向长短时记忆神经网络对每个句子对应的文本特征和声学特征进行编码，获取每个句子对应的文本特征向量和每个音频段的声学特征向量；

基于注意力机制对每个句子的文本特征向量和每个句子对应的音频段的声学特征向量进行对齐，生成每个句子对应的对齐向量。

4.根据权利要求3所述的基于说话人分割的角色识别方法，其特征在于，通过以下公式所述基于注意力机制对每个句子的文本特征向量和每个句子对应的音频段的声学特征向量进行对齐，生成每个句子对应的对齐向量：

p_ij＝tanh(u^Ts_i+v^Th_j+b)；

其中，表示任一句子中第i个词对应的对齐向量，tanh为双曲正切函数，u、v和b表示参数，u^T表示u的转置，v^T表示v的转置，s_i表示任一句子中第i个词对应的声学特征向量，h_j表示任一句子中第j个词对应的文本特征向量，N表示任一句子中词的数量。

5.根据权利要求3所述的基于说话人分割的角色识别方法，其特征在于，所述根据每个句子对应的对齐向量、文本特征和声学特征，基于分类模型获取每个句子对应的说话人类别，包括：

基于所述双向长短时记忆神经网络对所述对齐向量进行编码；

根据每个句子对应的文本特征向量、声学特征向量和编码后的对齐向量，基于分类模型获取每个句子对应的说话人类别。

6.根据权利要求5所述的基于说话人分割的角色识别方法，其特征在于，所述根据每个句子对应的文本特征向量、声学特征向量和编码后的对齐向量，基于分类模型获取每个句子对应的说话人类别，包括：

根据每个句子对应的文本特征向量、声学特征向量和编码后的对齐向量，获取每个句子对应的输入信息；

将每个句子的上下文对应的输入信息与每个句子对应的输入信息进行连接；

将连接结果输入所述分类模型中，获取每个句子对应的说话人类别。

7.根据权利要求1-6任一所述的基于说话人分割的角色识别方法，其特征在于，在所述基于句子切分模型将所述文本数据切分成多个句子，提取每个句子的文本特征之前，还包括：

将会话语音样本作为样本，将所述会话语音样本对应文本数据的实际句子切分标记和每个句子对应的实际说话人类别作为标签对所述句子切分模型、注意力机制和分类模型进行训练；

其中，训练的损失函数根据所述句子切分模型输出的句子切分标记与所述实际句子切分标记之间的损失，以及所述分类模型输出的说话人类别和所述实际说话人类别之间的损失获取。