[发明专利]基于RPA的应用程序操作方法、装置和存储介质

权利要求书

1.一种基于RPA的应用程序操作方法，其特征在于，应用于第一服务器，所述方法包括：

接收终端设备发送的图像数据，所述图像数据中包括有待操作的应用程序的操作界面；

根据所述图像数据中的像素点的像素值，确定所述图像数据中的多个候选框；

根据所述多个候选框，确定目标候选框的类别和坐标信息，所述目标候选框为所述多个候选框中的任意一个；

将所述目标候选框的类别和坐标信息发送给所述终端设备，所述目标候选框的类别和坐标信息用于指示所述终端设备基于机器人流程自动化RPA在所述应用程序的操作界面执行操作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据中的像素点的像素值，确定所述图像数据中的多个候选框，包括：

步骤A：根据所述图像数据，确定起始点坐标和第一终止点坐标；

步骤B：遍历所述起始点坐标和所述第一终止点坐标之间连线上的所有第一像素点，对于每个第一像素点，根据所述第一像素点，判断所述第一像素点所在的水平方向和/或垂直方向上是否存在与所述第一像素点像素值相同且连续的多个第二像素点；

步骤C：若存在所述多个第二像素点，则根据所述第二像素点确定初始候选框；

步骤D：根据所述第一终止点坐标确定第二终止点坐标，并将所述第二终止点坐标确定为新的所述第一终止点坐标，并重复执行步骤B-步骤D，直至所述第二终止点坐标的横坐标或纵坐标小于预设值，或者，直至所述起始点坐标和所述第一终止点坐标之间连线上的所有第一像素点在水平方向和所述垂直方向上均不存在与所述第一像素点像素值相同且连续的多个第二像素点为止，其中，所述第二终止点的横坐标小于所述第一终止点的横坐标或者所述第二终止点的纵坐标小于所述第一终止点的纵坐标；

步骤E：根据多个初始候选框，确定所述多个候选框。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第二像素点确定初始候选框，包括：

根据所述水平方向和/或所述垂直方向上的多个第二像素点，确定起始边，并确定所述起始边的起点坐标和终点坐标；

从所述起始边开始，沿着与所述起始边垂直的方向查找终止边，其中，所述终止边中各像素的像素值与所述第一像素点的像素值相同，且所述终止边的下一条边中存在至少一个像素点的像素值与所述第一像素点的像素值不同；

确定所述终止边的起点坐标和终点坐标；

根据所述起始边的起点坐标和终点坐标，以及所述终止边的起点坐标和终点坐标，确定所述初始候选框。

4.根据权利要求3所述的方法，其特征在于，所述根据所述水平方向和/或所述垂直方向上的多个第二像素点，确定起始边，包括：

若所述水平方向存在所述多个第二像素点，则根据所述多个第二像素点，在垂直方向上确定与所述第二像素点像素值相同且连续的多个第三像素点，将所述水平方向上的多个第二像素点组成的线段和所述垂直方向上的多个第三像素点组成的线段中，长度最长的线段确定为起始边；或者，

若所述垂直方向存在所述多个第二像素点，则根据所述多个第二像素点，在水平方向上确定与所述第二像素点像素值相同且连续的多个第四像素点，将所述水平方向上的多个第四像素点组成的线段和所述垂直方向上的多个第二像素点组成的线段中，长度最长的线段确定为起始边。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述根据所述第一像素点，判断所述第一像素点所在的水平方向和/或垂直方向上是否存在与所述第一像素点像素值相同且连续的多个第二像素点，包括：

判断所述第一像素点是否处于已提取的初始候选框内；

若所述第一像素点未处于已提取的初始候选框内，则判断所述第一像素点所在的水平方向和/或垂直方向上是否存在与所述第一像素点像素值相同且连续的多个第二像素点。

6.根据权利要求2-4任一项所述的方法，其特征在于，所述根据多个初始候选框，确定所述多个候选框，包括：

对所述多个初始候选框进行去重操作，得到多个第一候选框；

将所述多个第一候选框中相邻的候选框进行合并，得到多个第二候选框；

将所述多个第一候选框和所述多个第二候选框，确定为所述多个候选框。