[发明专利]可视信息交互的方法及控制系统

权利要求书

1.一种可视信息交互的方法，其特征在于，包括：

屏幕上一区域等待输入；

将所述区域的图像数据传送到辅助交互服务器；

所述辅助交互服务器根据响应规则将所述图像数据呈现给辅助人员；

所述辅助人员对所述图像数据还原呈现进行操作，记录坐标数据；

将所述坐标数据传送到辅助交互服务器；

所述辅助交互服务器将所述坐标数据传送回所述区域；

所述坐标数据响应所述区域的所述输入。

2.根据权利要求1所述可视信息交互的方法，其特征在于：所述屏幕上一区域等待输入为网页或应用软件中出现无法通过键盘访问的目标控件。

3.根据权利要求2所述可视信息交互的方法，其特征在于：所述区域的图像数据传送到辅助交互服务器为：对屏幕画面进行截屏、采集对屏幕操作相关请求信息；所述相关请求信息包括文字和音频请求信息；将全部请求信息传送给辅助交互服务器。

4.根据权利要求3所述可视信息交互的方法，其特征在于：所述辅助交互服务器根据响应规则为：根据先进先出原则向空闲辅助人员服务端传送客户请求信息。

5.根据权利要求4所述可视信息交互的方法，其特征在于：当某一辅助人员服务端处理客户请求超过设定的处理时间上限时，辅助交互服务器将该辅助人员服务端处理的请求信息传送给其他辅助人员服务端。

6.根据权利要求5所述可视信息交互的方法，其特征在于：所述辅助人员对所述图像数据还原呈现进行操作为：

截屏图片、文字请求信息在屏幕上显示；音频设备再现客户端声音请求信息；辅助人员根据客户数据请求信息及截屏内容，依次点击并采集截屏图片相应坐标数据。

7.根据权利要求6所述可视信息交互的方法，其特征在于：所述辅助交互服务器将所述操作的坐标数据传送回所述区域并响应所述区域的所述输入为：将接收到的坐标数据进行解析；根据解析后数据信息调用鼠标对无法通过键盘访问的目标控件依次进行点击。

8.根据权利要求7所述可视信息交互的方法，其特征在于：当发出请求信息的客户端意外关闭时，辅助交互服务器将反复向发出请求信息的客户端发送操作的坐标数据；超过辅助交互服务器设定时间，客户端仍然未启动则停止发送。

9.根据权利要求8所述可视信息交互的方法，其特征在于：

已经发出请求信息的客户端将图像数据传送到辅助交互服务器后，所述辅助交互服务器未将所述操作的坐标数据传送回所述客户端；发出请求信息的客户端再次将图像数据传送到辅助交互服务器时，辅助交互服务器将向发出请求信息的客户端传送前次任务未完成信息；提示客户端取消前次任务；客户端取消前次操作请求后，辅助交互服务器处理本次请求信息。

10.一种可视信息交互系统，其特征在于，包括：

接收装置，用于在屏幕上一区域等待输入；

第一传送装置，用于将所述区域的图像数据传送到辅助交互服务器；

呈现装置，用于所述辅助交互服务器根据响应规则将所述图像数据呈现给辅助人员；

记录装置，用于所述辅助人员对所述图像数据还原呈现进行操作，记录坐标数据；

第二传送装置，用于将所述坐标数据传送到辅助交互服务器；

第三传送装置，用于所述辅助交互服务器将所述坐标数据传送回所述区域；

所述接收装置将所述坐标数据响应所述区域的所述输入。