[发明专利]设备控制方法和装置、存储介质和程序产品

说明书

本公开实施例公开了一种设备控制方法和装置、电子设备和存储介质，其中，方法包括：获取设备控制数据；识别所述设备控制数据的数据类型；基于所述设备控制数据的数据类型，将所述设备控制数据中的各数据类型的数据分别输入多模型系统中对应的识别模型，经所述对应的识别模型输出中间识别结果；其中，所述多模型系统包括多个识别模型，所述多个识别模型中的任意两个识别模型基于不同的方式训练得到；基于所述设备控制数据中的各数据类型的数据对应的中间识别结果，确定所述设备控制数据对应的最终识别结果，以便基于所述最终识别结果对电子设备进行控制。本公开实施例可以能够提高对电子设备控制的准确率。

技术领域

本公开涉及人工智能技术，尤其是一种设备控制方法和装置、存储介质和程序产品。

背景技术

语音识别技术在近些年取得了显著的进步，目前已进入工业、家电、智能家居等各个领域。语音唤醒即是语音识别技术的一种形式，其不直接接触硬件设备，通过关键词的语音即可将设备唤醒运行。在日常生活中，许多电子设备具备语音唤醒功能。

对语音唤醒功能而言，有两个相对立的关键指标：唤醒率和误唤醒率。在实际的语音环境中，由于通常存在各种复杂信号源、噪音等干扰、以及相似发音等情况，可能会导致电子设备被误唤醒，或者用户说出唤醒词后电子设备因为噪声干扰而无法及时响应。

在实现本公开的过程中，本发明人通过研究发现，目前，通过单个语音模型对设备进行语音唤醒，有些语音模型有较高的唤醒率但误唤醒率也会很高，某些语音模型误唤醒率低同时唤醒率也较低，无法同时兼顾上述两个关键指标，导致唤醒效果较差。

发明内容

为了解决上述技术问题，本公开实施例提供一种设备控制方法和装置、电子设备和存储介质。

本公开实施例的一个方面，提供一种设备控制方法，包括：

获取设备控制数据，所述设备控制数据包括以下任意一项：用户的唇部区域的图像序列，所述用户的第一音频序列，所述用户的唇部区域的图像序列、以及与所述图像序列对应的第二音频序列，所述图像序列包括基于时序关系的多帧图像，所述第一音频序列、所述第二音频序列分别包括基于时序关系的多帧音频；

识别所述设备控制数据的数据类型，所述数据类型包括以下至少一种：语音，图像；

基于所述设备控制数据的数据类型，将所述设备控制数据中的各数据类型的数据分别输入多模型系统中对应的识别模型，经所述对应的识别模型输出中间识别结果；其中，所述多模型系统包括多个识别模型，所述多个识别模型中的任意两个识别模型基于不同的方式训练得到，所述不同的方式包括以下至少一项：训练数据的数据类型不同，训练数据在训练过程中是否采用增广方式，训练数据在训练过程中的增广方式不同，模型的类型不同，模型的结构和/或参数不同；

基于所述设备控制数据中的各数据类型的数据对应的中间识别结果，确定所述设备控制数据对应的最终识别结果，以便基于所述最终识别结果对电子设备进行控制。

可选地，在本公开上述任一方法实施例中，所述基于所述设备控制数据的数据类型，将所述设备控制数据中的各数据类型的数据分别输入多模型系统中对应的识别模型，包括：

若所述设备控制数据的数据类型为语音，将所述设备控制数据分别输入所述多模型系统中用于语音识别的语音识别模型；

若所述设备控制数据的数据类型为图像，将所述设备控制数据分别输入所述多模型系统中用于图像识别的图像识别模型；

若所述设备控制数据的数据类型同时包括语音和图像，将所述设备控制数据分别输入所述多模型系统中用于音视频识别的音视频识别模型。

可选地，在本公开上述任一方法实施例中，所述中间识别结果包括：至少一个分类结果和所述至少一个分类结果中各分类结果的概率值；