[发明专利]一种电子设备图形用户界面交互方法、装置和终端设备

权利要求书

1.一种电子设备图形用户界面GUI交互方法，其特征在于，所述方法包括：

获取第一文字串，所述第一文字串是由用户语音转换生成；

解析所述第一文字串得到至少一个关键词；

在所述电子设备当前显示的界面对应的控制事件集合中查找与所述至少一个关键词相匹配的控制事件名称，所述控制事件集合包括所述当前显示界面中所能产生的控制事件的名称与关键词的对应关系；

确定所述控制事件名称对应的控制事件，并执行所述控制事件。

2.根据权利要求1所述的方法，其特征在于，所述查找相匹配的控制事件名称之前，还包括：

根据所述电子设备当前显示的界面确定当前界面的界面标识；

根据所述界面标识确定与所述界面标识对应的控制事件集合；

其中，所述当前显示的界面包括至少一个应用，每个所述应用对应一个应用标识，所述当前界面的界面标识关联当前显示的界面的所有应用标识，且用于唯一标识所述当前显示的界面。

3.根据权利要求1或2所述的方法，其特征在于，所述确定所述控制事件名称对应的控制事件，包括：

将所述控制事件名称在控件树中遍历，确定与所述控制事件名称相同的分支，其中所述控件树由根节点和至少一条分支组成，每条所述分支包括至少一个中间节点和尾节点，每个所述中间节点上配置有一个字符，在所述尾节点上配置有一个控制事件标识，所述控制事件标识用于指示所述尾节点所在的分支上所有字符组成的控制事件名称；

查找所述分支上尾节点的控制事件标识；

根据所述控制事件标识确定所述控制事件。

4.根据权利要求1或2所述的方法，其特征在于，确定所述控制事件名称对应的控制事件，包括：

根据光学字符辨识技术确定所述控制事件名称所对应的坐标区域；

利用所述坐标区域确定所述控制事件。

5.根据权利要求1-4任一项所述的方法，其特征在于，配置控制事件集合中的控制事件名称包括以下两种方式：

在语义开发时，添加并配置控制事件集合中的每个所述控制事件名称的自然语义处理字段的方式；

或者，扫描控制事件集合中的每个控制事件标识，并将所述所有控制事件名称标识映射到自然语义定义的人工标签的方式。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述解析所述第一文字串得到至少一个关键词之前，还包括：

判断所述第一文字串是否满足框架语义完整性要求，所述框架语义完整性要求中包括服务名称、服务内容和服务对象的完整性；

如果不满足，则确定所述第一文字串中缺少的内容，并对所述缺少内容进行语义补全。

7.一种电子设备图形用户界面GUI交互装置，其特征在于，所述装置包括：

获取单元，用于获取第一文字串，所述第一文字串是由用户语音转换生成；

处理单元，用于解析所述第一文字串得到至少一个关键词；在所述电子设备当前显示的界面对应的控制事件集合中查找与所述至少一个关键词相匹配的控制事件名称，所述控制事件集合中包括所述当前显示界面中所能产生的控制事件的名称与关键词的对应关系；确定所述控制事件名称对应的控制事件，并执行所述控制事件。

8.根据权利要求7所述的装置，其特征在于，

所述处理单元，还用于在查找相匹配的控制事件名称之前，根据所述电子设备当前显示的界面确定当前界面的界面标识；根据所述界面标识确定与所述界面标识对应的控制事件集合；

其中，所述当前显示的界面包括至少一个应用，每个所述应用对应一个应用标识，所述当前界面的界面标识关联当前显示的界面的所有应用标识，且用于唯一标识所述当前显示的界面。