[发明专利]自动操作系统及操作自动化方法

权利要求书

1.一种自动操作系统，其对于操作对象装置自动执行一系列的操作命令，该自动操作系统具备：

操作顺序制作部，其生成所述一系列的操作命令；

操作顺序执行部，其执行所述一系列的操作命令；

操作信号输出部，其基于所执行的所述操作命令，将与所述操作对象装置的输入装置的操作信号相应的信号发送给所述操作对象装置；

画面信息取得部，其基于所执行的所述操作命令，取得在所述操作对象装置的显示装置上显示的画面的信息，并进行图像识别；以及

操作初始设定部，该操作初始设定部取得生成所述一系列的操作命令时所需的所述操作对象装置的信息，对各个操作命令的设定所需的信息赋予ID并登录,

其中,所述各个操作命令的设定所需的所述信息包括所述操作对象装置的操作画面上的信息。

2.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部取得所述操作对象装置的全部操作画面，对于在操作的过程中需要的显示信息的位置信息赋予ID，并与图像数据一起登录。

3.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部对于在所述操作对象装置的操作画面上进行了键盘输入的区域的位置信息赋予ID，并与所输入的文本数据一起登录。

4.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部对于在所述操作对象装置的操作画面上进行了鼠标操作的位置的位置信息赋予ID，并与鼠标操作的内容一起登录。

5.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部对于在所述操作对象装置的操作画面上进行了手写笔操作的位置的位置信息赋予ID，并与手写笔操作的内容一起登录。

6.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部对于在所述操作对象装置的操作画面上需要识别在画面上显示的颜色的区域的位置信息赋予ID，并与图像数据及颜色信息一起登录。

7.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部对于在所述操作对象装置的操作画面上显示的字符中的、需要作为文字来数据识别的字符赋予ID，并与字符的图像数据一起登录。

8.如权利要求1所述的自动操作系统，其中，

所述操作顺序制作部使用由所述操作初始设定部赋予ID并登录的信息来生成操作命令。

9.如权利要求1所述的自动操作系统，其中，

所述操作顺序制作部具备：

图表制作部，其用于制作概念图表，该概念图表具有用于表示特定的系统的概念的概念构件和为了实现所述概念而按照功能的流程构成的实现构件；以及

图表变换部，其将由所述图表制作部制作的概念图表变换为控制程序，

所述图表制作部基于由操作者经由输入部输入的操作，将包含构成所述概念图表的所述概念构件及所述实现构件在内的多个构件显示在显示部上，并且将与所述构件的每一个相关的信息和规定所述构件彼此的关系的信息显示在所述显示部上。

10.如权利要求1所述的自动操作系统，其中，

所述操作信号输出部基于由所述操作顺序执行部执行的操作命令，将所述操作对象装置的键盘、鼠标或手写笔的操作信号发送给所述操作对象装置。

11.如权利要求1所述的自动操作系统，其中，

所述画面信息取得部基于由所述操作顺序执行部执行的操作命令，将在所述操作对象装置的显示装置上显示的图像和由所述操作初始设定部赋予ID并登录的图像数据进行对照。

12.如权利要求1所述的自动操作系统，其中，

所述画面信息取得部基于由所述操作顺序执行部执行的操作命令，将在所述操作对象装置的显示装置上显示的颜色和由所述操作初始设定部赋予ID并登录的颜色数据进行对照。

13.如权利要求1所述的自动操作系统，其中，

所述画面信息取得部基于由所述操作顺序执行部执行的操作命令，将在所述操作对象装置的显示装置上显示的字符和由所述操作初始设定部赋予ID并登录的字符数据进行匹配。