[发明专利]基于多模式标识的语义识别方法、装置和计算机设备

权利要求书

1.一种基于多模式标识的语义识别方法，其特征在于，应用于第一移动终端，包括：

通过所述第一移动终端上预设的收音设备，获取输入的第一语音信息；

将所述第一语音信息输入预设的第一语音识别模型中进行处理，从而得到所述第一语音识别模型输出的第一识别结果；其中所述第一识别结果由至少一个识别组构成，每个识别组均包括一个识别语义文本和一个行为模式标识；

判断所述第一识别结果是否包括两个以上的识别组；

若所述第一识别结果包括两个以上的识别组，则根据预设的行为特征语音提取方法，从所述第一语音信息中提取至少两个行为特征语音片段，其中所述至少两个行为特征语音片段两两之间在时间上不连续；

将所述至少两个行为特征语音片段输入预设的第一行为模式识别模型中进行处理，从而得到所述第一行为模式识别模型输出的第一行为模式标识；

通过所述第一移动终端的侧面预设的压力传感器，感测得到所述第一移动终端的使用者的手指压力信号，以及，通过所述第一移动终端的背面预设的温度传感器，感测得到所述第一移动终端的使用者的手掌的掌心温度信号；其中，所述第一移动终端的背面指与所述第一移动终端的屏幕面相反的一面；

将所述手指压力信号和所述掌心温度信号输入预设的第二行为模式识别模型中进行处理，从而得到所述第二行为模式识别模型输出的第二行为模式标识；

判断所述第一行为模式标识与所述第二行为模式标识是否匹配，以及判断所述第一行为模式标识是否存在于所述第一识别结果中；

若所述第一行为模式标识与所述第二行为模式标识匹配，并且所述第一行为模式标识存在于所述第一识别结果中，则从所述第一识别结果中选出指定识别组，其中所述指定识别组中的行为模式标识为所述第一行为模式标识；

将所述指定识别组中的识别语义文本作为对应于所述第一语音信息的最终识别结果。

2.根据权利要求1所述的基于多模式标识的语义识别方法，其特征在于，所述第一语音信息是实时获取的语音信息，所述第一语音识别模型包括顺序连接的编码用长短期记忆网络和解码用长短期记忆网络，所述将所述第一语音信息输入预设的第一语音识别模型中进行处理，从而得到所述第一语音识别模型输出的第一识别结果；其中所述第一识别结果由至少一个识别组构成，每个识别组均包括一个识别语义文本和一个行为模式标识的步骤,包括：

执行第一次编码操作，所述第一次编码操作指实时获取第一时长的子语音信息，并将所述第一时长的子语音信息输入预设的第一语音识别模型中的编码用长短期记忆网络进行处理，从而得到所述编码用长短期记忆网络输出的第一隐藏状态向量序列；

执行第一次解码操作，所述第一次解码操作指将所述第一隐藏状态向量序列输入所述第一语音识别模型中的解码用长短期记忆网络中进行处理，从而得到所述解码用长短期记忆网络输出的第一子识别语义文本和与所述第一子识别语义文本对应的行为模式标识；

依次执行第二次编码操作、第二次解码操作、...、第n次编码操作、第n次解码操作，其中所述第二次编码操作指实时获取第二时长的子语音信息，并将所述第二时长的子语音信息输入预设的第一语音识别模型中的编码用长短期记忆网络进行处理，从而得到所述编码用长短期记忆网络输出的第二隐藏状态向量序列，并且所述第二时长与所述第一时长的差值等于预设时间差；所述第二次解码操作指将所述第二隐藏状态向量序列输入所述第一语音识别模型中的解码用长短期记忆网络中进行处理，从而得到所述解码用长短期记忆网络输出的第二子识别语义文本和与所述第二子识别语义文本对应的行为模式标识；...；所述第n次编码操作指实时获取第n时长的子语音信息，并将所述第n时长的子语音信息输入预设的第一语音识别模型中的编码用长短期记忆网络进行处理，从而得到所述编码用长短期记忆网络输出的第n隐藏状态向量序列，并且所述第n时长与第n-1时长的差值等于预设时间差，所述第n时长的子语音信息等于所述第一语音信息；所述第n次解码操作指将所述第n隐藏状态向量序列输入所述第一语音识别模型中的解码用长短期记忆网络中进行处理，从而得到所述解码用长短期记忆网络输出的第n子识别语义文本和与所述第n子识别语义文本对应的行为模式标识；

根据预设的数据合并方法，对第一子识别语义文本和与第一子识别语义文本对应的行为模式标识、第二子识别语义文本和与第二子识别语义文本对应的行为模式标识、...以及第n子识别语义文本和与第n子识别语义文本对应的行为模式标识进行合并处理，从而得到所述第一识别结果；其中所述第一识别结果由至少一个识别组构成，每个识别组均包括一个识别语义文本和一个行为模式标识。