[发明专利]设备控制方法和装置、存储介质和程序产品

权利要求书

1.一种设备控制方法，其特征在于，包括：

获取设备控制数据，所述设备控制数据包括以下任意一项：用户的唇部区域的图像序列，所述用户的第一音频序列，所述用户的唇部区域的图像序列、以及与所述图像序列对应的第二音频序列，所述图像序列包括基于时序关系的多帧图像，所述第一音频序列、所述第二音频序列分别包括基于时序关系的多帧音频；

识别所述设备控制数据的数据类型，所述数据类型包括以下至少一种：语音，图像；

基于所述设备控制数据的数据类型，将所述设备控制数据中的各数据类型的数据分别输入多模型系统中对应的识别模型，经所述对应的识别模型输出中间识别结果；其中，所述多模型系统包括多个识别模型，所述多个识别模型中的任意两个识别模型基于不同的方式训练得到，所述不同的方式包括以下至少一项：训练数据的数据类型不同，训练数据在训练过程中是否采用增广方式，训练数据在训练过程中的增广方式不同，模型的类型不同，模型的结构和/或参数不同；

基于所述设备控制数据中的各数据类型的数据对应的中间识别结果，确定所述设备控制数据对应的最终识别结果，以便基于所述最终识别结果对电子设备进行控制。

2.根据权利要求1所述的方法，其特征在于，所述基于所述设备控制数据的数据类型，将所述设备控制数据中的各数据类型的数据分别输入多模型系统中对应的识别模型，包括：

若所述设备控制数据的数据类型为语音，将所述设备控制数据分别输入所述多模型系统中用于语音识别的语音识别模型；

若所述设备控制数据的数据类型为图像，将所述设备控制数据分别输入所述多模型系统中用于图像识别的图像识别模型；

若所述设备控制数据的数据类型同时包括语音和图像，将所述设备控制数据分别输入所述多模型系统中用于音视频识别的音视频识别模型。

3.根据权利要求1或2所述的方法，其特征在于，所述中间识别结果包括：至少一个分类结果和所述至少一个分类结果中各分类结果的概率值；

所述基于所述设备控制数据中的各数据类型的数据对应的中间识别结果，确定所述设备控制数据对应的最终识别结果，包括：

基于所述设备控制数据中的各数据类型的数据对应的至少一个分类结果和各分类结果的概率值，按照预设方式，确定所述设备控制数据对应的最终识别结果。

4.根据权利要求1-3任一所述的方法，其特征在于，所述基于最终识别结果对电子设备进行控制，包括：

确定所述最终识别结果与预设命令词是否匹配；

响应于所述最终识别结果与所述预设命令词匹配，基于所述预设命令词中与所述最终识别结果匹配的目标命令词，控制电子设备执行所述目标命令词对应的操作。

5.根据权利要求4所述的方法，其特征在于，所述控制电子设备执行所述目标命令词对应的操作，包括：

所述目标命令词为唤醒词时，对未被唤醒的所述电子设备进行唤醒；或者，

所述目标命令词为操作控制词时，对被唤醒的所述电子设备进行所述目标命令词对应的操作控制。