[发明专利]一种基于网页命令行与子图快速匹配的远程桌面操作方法

权利要求书

1.一种基于网页命令行与子图快速匹配的远程桌面操作方法，其特征在于，包含如下步骤:

步骤一：远程命令行的发布与解析；在一个可重复编辑网页中发布包含命令行关键字的文本内容；远程客户端实时读取并能够定位包含在网页内容中的命令行语句，解析命令行语句的关键字，并根据命令关键字执行相应的操作；

步骤二：基于变长式点面法的桌面子图快速定位；

2.1）选取界内点和子图，实时检测操作系统界面，截取操作系统桌面屏幕图像；

2.1.1）选取待操作的软件命令按钮及操作窗口中指定区域的首个界内点颜色特征和坐标信息，设定如下几何特征关系：

其中，R1和R2表示两个约束关系，D表示坐标中两点之间的距离，P1，P2，P3和P4表示四个界内点坐标点信息；

2.1.2）根据上述约束关系依次选取其他三个界内点颜色和坐标信息，保存子图用于训练深度学习模型；

2.2）查找子图首个界内点，使用如下公式计算水平方向和垂直方向遍历步长改变量：

其中，表示遍历屏幕图像的横坐标改变量，即步长，表示纵坐标遍历屏幕图像的纵坐标改变量，和表示当前屏幕的分辨率水平和垂直像素点数量，和表示提取子图的屏幕分辨率水平和垂直像素点数量；

2.3）定位首个界内点后，向左侧和上侧分别遍历至子图左上方边界内侧，以扩大子图的候选区域；同时遍历其余三个界内点，按照如下关系进行定位纵坐标和横坐标并匹配颜色特征：

式中：为点P2的横坐标，为点P1的横坐标，为点P3的横坐标，为点P4的横坐标，为点P2的纵坐标，为点P1的纵坐标，为点P3的纵坐标，为点P4的纵坐标，若几何关系和颜色特征匹配成功，则完成了变长式由点到面的候选子图区域定位过程；否则，继续遍历屏幕余下的区域；

2.4）对定位后的候选子图采用基于样本及中心点最值化约束的全连接深度学习模型进行匹配，若匹配成功在被控制端桌面执行相应操作；若匹配失败，则更新当前屏幕截图；

步骤三：子图或日期匹配成功则执行预定的操作和转义操作；通过检测指定的操作界面进行转义操作，安装在控制端电脑与被控制端电脑中的聊天互动软件进行交互时，利用指定的操作界面执行其他操作动作。

2.根据权利要求1所述的基于网页命令行与子图快速匹配的远程桌面操作方法，其特征在于，所述步骤一中所要发布的命令行语句中包含方便解析的关键字，在命令行的头部和尾部均添加命令行开始或结束的标志性字符子串。

3.根据权利要求1所述的基于网页命令行与子图快速匹配的远程桌面操作方法，其特征在于，所述步骤一利用网页浏览器控件和多线程技术获取发布在指定网页中的命令行，包含具体的时间点，精确到分钟；

其中，L表示时间的长度，Year表示年，Month表示月，Day表示日，Hour表示小时和Minute表示分钟，在解析到命令行时客户端会根据上述时间长度计算公式来获取时刻点，并按照设定的时间来判断并执行对应的操作。

4.根据权利要求1所述的基于网页命令行与子图快速匹配的远程桌面操作方法，其特征在于，所述基于样本及中心点最值化约束的全连接深度学习的子图匹配模型具体如下：该模型包括5层全连接神经网络，每个全连接层后带修正线性单元函数，每一层的输入输出特征向量表示如下：

其中，表示当前层的输出特征，表示前一层的输出特征作为当前层的输入特征，表示当前层的权重，表示当前层的偏置，表示每一层后带的修正线性单元函数；同时采用如下损失函数：

其中，S表示构建损失函数的数量，ED（）表示两个特征向量之间的欧氏距离，fea()表示经过深度学习提取的特征向量，I表示输入的保存区域的子图,子图中标号a和b表示不同情况下相同操作的子图区域，标号c和d标注的子图为同类子图但与a不同类型，m表示一个较小的常数；和表示同类样本之间的中心点。