[发明专利]基于说话人分割的角色识别方法及装置

说明书

本发明提供一种基于说话人分割的角色识别方法及装置，该方法包括：将待识别会话语音转换为文本数据，基于句子切分模型将所述文本数据切分成多个句子，提取每个句子的文本特征；对所述待识别会话语音切分，获取每个句子对应的音频段，提取每个音频段的声学特征；基于注意力机制对每个句子对应的文本特征和声学特征进行对齐，生成每个句子对应的对齐向量；根据每个句子对应的对齐向量、文本特征和声学特征，基于分类模型获取每个句子对应的说话人类别。本发明使用文本和音频之间的交互特征进行角色识别，提高角色识别的准确性。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于说话人分割的角色识别方法及装置。

背景技术

目前，对语音会话的角色识别主要包括两个模块，即说话人分割和角色识别。两者在客服语音自动分割识别、智能会议记录等任务中发挥着重要作用。

其中，说话人分割是指在采集的语音信号流中，分辨出不同说话人的说话时长并标注。角色识别是指为多人对话中的各语音片段标注出说话人。现有技术对语音进行角色识别时，使用音频特征或音频转写后的语义特征进行角色识别，角色识别准确性较低。

发明内容

本发明提供一种基于说话人分割的角色识别方法及装置，用以解决现有技术中使用音频特征或音频转写后的语义特征进行角色识别，角色识别准确性较低的缺陷，实现提高角色识别的准确性。

本发明提供一种基于说话人分割的角色识别方法，包括：

将待识别会话语音转换为文本数据，基于句子切分模型将所述文本数据切分成多个句子，提取每个句子的文本特征；

对所述待识别会话语音切分，获取每个句子对应的音频段，提取每个音频段的声学特征；

基于注意力机制对每个句子对应的文本特征和声学特征进行对齐，生成每个句子对应的对齐向量；

根据每个句子对应的对齐向量、文本特征和声学特征，基于分类模型获取每个句子对应的说话人类别。

根据本发明提供的一种基于说话人分割的角色识别方法，所述基于句子切分模型将所述文本数据切分成多个句子，提取每个句子的文本特征，包括：

基于语言模型对所述文本数据进行编码，获取所述文本数据中每个字的隐层状态；

根据所述文本数据中每个字的隐层状态，基于句子切分模型将所述文本数据切分成多个句子；

将每个句子中所有字的隐层状态进行融合，获取每个句子的文本特征。

根据本发明提供的一种基于说话人分割的角色识别方法，所述基于注意力机制对每个句子对应的文本特征和声学特征进行对齐，生成每个句子对应的对齐向量，包括：

基于双向长短时记忆神经网络对每个句子对应的文本特征和声学特征进行编码，获取每个句子对应的文本特征向量和每个音频段的声学特征向量；

基于注意力机制对每个句子的文本特征向量和每个句子对应的音频段的声学特征向量进行对齐，生成每个句子对应的对齐向量。

根据本发明提供的一种基于说话人分割的角色识别方法，通过以下公式所述基于注意力机制对每个句子的文本特征向量和每个句子对应的音频段的声学特征向量进行对齐，生成每个句子对应的对齐向量：

p_ij＝tanh(u^Ts_i+v^Th_j+b)；