[发明专利]一种便携式电子设备的交互装置及其交互方法

权利要求书

1.一种便携式电子设备的交互装置，其通过模拟人的操作实现交互；其特征在于：该交互装置包括：

模式识别模块，其用于对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；

查找模块，其用于根据识别的命令查找预先编制的命令表；

第一判断模块，其用于判断在预先编制的命令表中，是否能查找到相应命令；

界面图像获取模块，其用于在该查找模块查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；

界面图像识别模块，其用于根据预先编制的场景表，对界面图像进行识别；

第二判断模块，其用于判断在预先编制的场景表中，是否能查找到当前所在场景；

第三判断模块，其用于在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；

执行模块，其用于在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。

2.如权利要求1所述的便携式电子设备的交互装置，其特征在于：该交互装置还包括提示模块，该提示模块用于在该查找模块查不到相应命令时，进行出错提示后退出。

3.如权利要求2所述的便携式电子设备的交互装置，其特征在于：该提示模块还用于在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。

4.如权利要求1所述的便携式电子设备的交互装置，其特征在于：该交互装置还包括场景转换模块，该场景转换模块用于在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，执行该临时动作脚本，将当前场景转换至与预先编制的场景相对应的命令的执行场景，最后由该执行模块执行命令对应的动作脚本。

5.一种便携式电子设备的交互方法，其通过模拟人的操作实现交互；其特征在于：该交互方法包括以下步骤：

对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；

根据识别的命令查找预先编制的命令表；

判断在预先编制的命令表中，是否能查找到相应命令；

在查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；

根据预先编制的场景表，对界面图像进行识别；

判断在预先编制的场景表中，是否能查找到当前所在场景；

在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；

在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。

6.如权利要求5所述的便携式电子设备的交互方法，其特征在于：该交互方法还包括步骤：在查不到相应命令时，进行出错提示后退出。

7.如权利要求6所述的便携式电子设备的交互方法，其特征在于：该交互方法还包括步骤：在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。

8.如权利要求5所述的便携式电子设备的交互方法，其特征在于：在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，通过执行该临时动作脚本将当前场景转换至与预先编制的场景相对应的命令的执行场景，并且执行命令相应的动作脚本。