[发明专利]可视信息交互的方法及控制系统

说明书

技术领域

本发明涉及信息识别技术领域，具体的说，是涉及一种可视信息交互的方法及控制系统。

背景技术

视障人士可通过专用的读屏软件灵活便捷的操作计算机的各类应用，他们基本可与常人一样自由的进行浏览网页、收发邮件、上网购物、应用办公软件等。然而,他们操作计算机是不需要使用鼠标的，是完全通过键盘进行操作，这就需要被操作的软件或网站符合无障碍设计，符合读屏软件的操作规范。但许多网站和软件出于美观及应用安全等方面的考虑，使其部分控件无法通过键盘进行操作应用，不符合信息无障碍设计规范。比如网页中的无法通过键盘访问的按钮、应用软件中的部分控件及各类软件中无法通过键盘访问的按钮、复选框等。这就对视障人士顺利的应用计算机，平等的参与经济社会生活带来了不可逾越的巨大障碍。

发明内容

针对上述现有技术中的不足，本发明提供一种可视信息交互的方法及控制系统。

本发明所采取的技术方案是：

一种可视信息交互的方法，包括：

屏幕上一区域等待输入；

将所述区域的图像数据传送到辅助交互服务器；

所述辅助交互服务器根据响应规则将所述图像数据呈现给辅助人员；

所述辅助人员对所述图像数据还原呈现进行操作，记录坐标数据；

将所述坐标数据传送到辅助交互服务器；

所述辅助交互服务器将所述坐标数据传送回所述区域；

所述坐标数据响应所述区域的所述输入。

所述屏幕上一区域等待输入为网页或应用软件中出现无法通过键盘访问的目标控件。

所述区域的图像数据传送到辅助交互服务器为：对屏幕画面进行截屏、采集对屏幕操作相关请求信息；所述相关请求信息包括文字和音频请求信息；将全部请求信息传送给辅助交互服务器。

所述辅助交互服务器根据响应规则为：根据先进先出原则向空闲辅助人员服务端传送客户请求信息。

当某一辅助人员服务端处理客户请求超过设定的处理时间上限时，辅助交互服务器将该辅助人员服务端处理的请求信息传送给其他辅助人员服务端。

所述辅助人员对所述图像数据还原呈现进行操作为：

截屏图片、文字请求信息在屏幕上显示；音频设备再现客户端声音请求信息；辅助人员根据客户数据请求信息及截屏内容，依次点击并采集截屏图片相应坐标数据。

所述辅助交互服务器将所述操作的坐标数据传送回所述区域并响应所述区域的所述输入为：将接收到的坐标数据进行解析；根据解析后数据信息调用鼠标对无法通过键盘访问的目标控件依次进行点击。

当发出请求信息的客户端意外关闭时，辅助交互服务器将反复向发出请求信息的客户端发送操作的坐标数据；超过辅助交互服务器设定时间，客户端仍然未启动则停止发送。

已经发出请求信息的客户端将图像数据传送到辅助交互服务器后，所述辅助交互服务器未将所述操作的坐标数据传送回所述客户端；发出请求信息的客户端再次将图像数据传送到辅助交互服务器时，辅助交互服务器将向发出请求信息的客户端传送前次任务未完成信息；提示客户端取消前次任务；客户端取消前次操作请求后，辅助交互服务器处理本次请求信息。

一种可视信息交互系统，包括：

接收装置，用于在屏幕上一区域等待输入；

第一传送装置，用于将所述区域的图像数据传送到辅助交互服务器；

呈现装置，用于所述辅助交互服务器根据响应规则将所述图像数据呈现给辅助人员；

记录装置，用于所述辅助人员对所述图像数据还原呈现进行操作，记录坐标数据；

第二传送装置，用于将所述坐标数据传送到辅助交互服务器；

第三传送装置，用于所述辅助交互服务器将所述坐标数据传送回所述区域；

所述接收装置将所述坐标数据响应所述区域的所述输入。

本发明相对现有技术的有益效果：

本发明可视信息交互的方法及控制系统，通过远程客服的方式，为视障人士提供远程快速精确点击对应电脑软件控件的方法。

附图说明

图1是可视信息交互的方法的第一概括实施例流程图；

图2是可视信息交互的方法的第二具体实施例流程图；

图3是可视信息交互的方法应用在12306网站登录页面截屏图；

图4是可视信息交互的方法应用在360杀毒软件操作页面截屏图；

图5是可视信息交互的方法应用在远程控制的流程图。

具体实施方式

以下参照附图及实施例对本发明进行详细的说明：