[发明专利]执行电子装置的功能的方法以及使用该方法的电子装置

说明书

一种电子装置，包括：相机；麦克风；显示器；存储器；以及处理器。所述处理器被配置为：在至少一个应用被执行时从用户接收用于启用智能代理服务的输入，确认所述电子装置的环境信息，控制以基于所确认的所述环境信息通过所述相机获取所述用户的图像信息，检测包括在所获取的图像信息中的用户嘴唇的运动以识别所述用户的语音，以及执行与识别出的语音相对应的功能。

技术领域

本公开涉及一种执行电子装置的功能的方法以及使用该方法的电子装置。

背景技术

如今，各种类型的电子装置(诸如智能电话、平板个人计算机或可穿戴装置)被广泛使用。为了提高这类电子装置的可用性，不仅硬件组件，而且软件组件也在不断改进。例如，电子装置可以提供智能代理服务，用于响应于用户语音输入执行各种功能。

以上信息仅作为背景信息呈现，以帮助理解本公开。关于以上内容中的任何内容是否可以用作关于本公开的现有技术，尚未作出确定，也未作出断言。

发明内容

技术问题

智能代理服务可以识别语音、分析所识别的语音并向用户提供用户希望执行的服务。智能代理服务基于用户的语音进行操作，因此其语音识别性能可能会受到除用户语音以外的噪声(例如，周围噪声)的影响。例如，在电子装置的周围环境安静(例如，低噪声)的状态下识别用户的语音和在电子装置的周围环境嘈杂(例如，高噪声)的状态下识别用户的语音可能是显著不同的。

问题的解决方案

根据本公开的一方面，提供了一种电子装置。所述电子装置包括：相机；麦克风；显示器；存储器；以及处理器。其中，所述处理器被配置为：在至少一个应用被执行时从用户接收用于启用智能代理服务的输入，确认所述电子装置的环境信息，控制以基于所确认的环境信息通过所述相机获取所述用户的图像信息，检测包括在所获取的图像信息中的用户嘴唇的运动以识别所述用户的语音，以及执行与识别出的语音相对应的功能。

根据本公开的另一方面，提供了一种电子装置的方法。所述方法包括：在至少一个应用被执行时，从用户接收用于启用智能代理服务的输入；确认所述电子装置的环境信息；基于所确认的所述环境信息，通过相机获取所述用户的图像信息；检测包括在所获取的所述图像信息中的用户嘴唇的运动，以识别所述用户的语音；以及执行与识别出的所述语音相对应的功能。

发明的有益效果

根据本公开的各种实施例的电子装置可以使用图像信息来提高智能代理服务的准确性。例如，电子装置可以通过基于所获取的图像应用唇读技术来分析用户希望执行的功能。电子装置可以基于用户的语音和用户的嘴唇的形状中的至少一个来确定用户期望的功能，并将确定的功能提供给用户。用户可以基于用户嘴唇的形状来检测用户语音开始的时间点和用户语音结束的时间点，并通过嘴唇形状校正接收到的不清楚的用户语音，从而向用户提供更准确的智能代理服务。

附图说明

为了更完整地理解本公开及其优点，现在结合附图参照以下描述，其中类似的附图标记表示类似的部分：

图1是示出根据各种实施例的网络环境中的电子装置的框图。

图2A是示出根据实施例的集成智能系统的框图；

图2B示出了根据实施例的在数据库中存储关于概念和动作之间的关系的信息的形式；

图2C示出了根据实施例的显示通过智能应用(app)处理接收到的语音输入的屏幕的用户终端；

图3示意性地示出了根据本公开的各种实施例的智能代理系统；

图4是示出根据本公开的各种实施例的唇读模块的框图；

图5是示出根据本公开的各种实施例的电子装置通过智能代理服务执行与用户命令相对应的功能的方法的流程图；