[发明专利]一种便携式电子设备的交互装置及其交互方法

说明书

技术领域

本发明涉及计算机科学与技术领域，具体涉及一种便携式电子设备的交互装置及其交互方法。

背景技术

从计算机发明以来，人机交互就成为计算机技术中一个重要研究领域，实现进行方便、快捷、人性化的计算机控制是该项研究不断的追求。目前，主流的人机交互方式有如下两种方式。

（1）使用者使用键盘，鼠标，触摸屏等输入设备对计算机进行控制，通过按键、点击或触摸手势输入命令，该方式输入的命令相对较为明确，计算机容易进行解析并执行，但是对于用户来说，需要对命令规则进行记忆，友好度较低。这种方式是目前最主流的方式，大多数计算机都采用这种方式。

（2）使用者通过语音或动作等方式输入命令，计算机需要通过对语音或动作等进行模式识别，并对识别结果进行理解，分析出要执行的命令。这种方式对于用户来说，友好度更高，但是要求计算机有较高的运算能力和智能化程度。

现在，传统便携式计算机和电子设备正逐渐向可穿戴的方向发展。可穿戴电子设备基本上都要求微型化和轻量化，很多可穿戴电子设备的屏幕很小，甚至没有屏幕，因此，利用传统的键盘、鼠标和触摸屏来进行交互显然不可行，因此，可穿戴设备大多采用语音或动作等方式进行交互。

此外，很多有肢体缺陷的残障人士在使用传统的键盘、鼠标和触摸屏来进行交互往往有诸多困难，因此，他们也往往需要采用语音或动作等方式进行交互。

目前大多数应用程序都是基于传统交互方式开发的，而且并不提供外部控制接口，因此，在传统应用程序上通过模式识别实现交互就成为一个亟待解决的问题。

发明内容

有鉴于此，本发明的目的是提供一种便携式电子设备的交互装置及其交互方法，其在传统应用程序上通过模式识别实现交互，一方面方便在可穿戴电子设备上运行传统应用程序，另一方面方便残障人士使用传统应用程序。

本发明是这样实现的，一种便携式电子设备的交互装置，其通过模拟人的操作实现交互；该交互装置包括：模式识别模块，其用于对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；查找模块，其用于根据识别的命令查找预先编制的命令表；第一判断模块，其用于判断在预先编制的命令表中，是否能查找到相应命令；界面图像获取模块，其用于在该查找模块查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；界面图像识别模块，其用于根据预先编制的场景表，对界面图像进行识别；第二判断模块，其用于判断在预先编制的场景表中，是否能查找到当前所在场景；第三判断模块，其用于在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；执行模块，其用于在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。

作为上述方案的进一步改进，该交互装置还包括提示模块，该提示模块用于在该查找模块查不到相应命令时，进行出错提示后退出。

优选地，该提示模块还用于在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。

作为上述方案的进一步改进，该交互装置还包括场景转换模块，该场景转换模块用于在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，执行临时动作脚本，将当前场景转换至与预先编制的场景相对应的命令的执行场景，最后由执行模块执行命令对应的动作脚本。

本发明还涉及一种便携式电子设备的交互方法，其通过模拟人的操作实现交互；该交互方法包括以下步骤：对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；根据识别的命令查找预先编制的命令表；判断在预先编制的命令表中，是否能查找到相应命令；在查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；根据预先编制的场景表，对界面图像进行识别；判断在预先编制的场景表中，是否能查找到当前所在场景；在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。

作为上述方案的进一步改进，该交互方法还包括步骤：在查不到相应命令时，进行出错提示后退出。

优选地，该交互方法还包括步骤：在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。

作为上述方案的进一步改进，在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，通过执行该临时动作脚本将当前场景转换至与预先编制的场景相对应的命令的执行场景，并且执行命令对应的动作脚本。