[发明专利]基于语意特征向量的RPA对象识别方法

说明书

本发明提出了一种基于语意特征向量的RPA对象识别方法，包括：步骤S1，将用户的语音命令的描述逻辑转换成由复合对象的操作序列模型；步骤S2，根据当前操作界面的图像快照抽取几何形体的特征向量，生成树状数据结构；步骤S3，根据复合对象的特征值，从树状数据结构中进行对象拟合，查找相似度最高的对象，执行相应的原子操作动作。本发明采用通过语音进行快速的RPA逻辑操作流程建模的方法，实现了无需人工定义和人为操作自动化流程模拟，不仅可以快速有效的模拟的人工操作的动作，而且可以抽象描述对象的特征，不需要特别具体的说明就可实现大概率匹配到用户的需求。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于语意特征向量的RPA对象识别方法。

背景技术

ChatGPT是人工智能技术驱动的自然语言处理工具，它能够通过理解和学习人类的语言来进行对话，还能根据聊天的上下文进行互动，能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务。

RPA（RoboticProcessAutomation，机器人流程自动化）是使用软件自动化来实现原本由人类操作的计算机完成的操作，通过软件机器人自动处理大量重复的、基于规则的工作流程任务。

当前RPA机器人的自动化流程，只能复制真人操作的流程、或者根据人工定义的一系列逻辑操作进行模拟。但是当每次出现新的任务或者修改任务的逻辑流程时，都需要大量人工时间，导致无法实现高效率的自动化任务定义。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于语意特征向量的RPA对象识别方法。

为了实现上述目的，本发明的实施例提供一种基于语意特征向量的RPA对象识别方法，包括如下步骤：

步骤S1，将用户的语音命令的描述逻辑转换成由复合对象的操作序列模型；

步骤S2，根据当前操作界面的图像快照抽取几何形体的特征向量，生成树状数据结构；

步骤S3，根据复合对象的特征值，从树状数据结构中进行对象拟合，查找相似度最高的对象，执行相应的原子操作动作。

进一步，在所述步骤S1中，将用户的语音数据描述通过ChatGPT转换成基本对象和原子操作模型。

进一步，将用户的语音数据通过语音识别方法转换成文本，再通过ChatGPT转换成由形式化语言描述的对象序列数据模型，所述对象序列数据模型通过数组表示动作前后关系,是通过基本对象BO组成的复合对象CO和原子操作动作action的序列化形式数据模型。

进一步，通过ChatGPT定义语意模型的知识集合，以大语言模型的GeneratedKnowledge Prompting方法，通过QA学习模式进行已有知识的训练，并且计算出形式化序列seqModal。

进一步，在所述步骤S2中，将当前操作界面的图像数据快照通过人工智能的模式识别算法，识别并分析计算图像中包含的图像对象属性集合。

进一步，在所述步骤S2中，将当前操作界面的目标图像快照转换为黑白图片，通过OCR识别函数将文本对象替换成多边形；根据ContourDetect算法识别图像中的元素，并且采样位置、形状、曲率的图像对象属性，建立树状数据结构TreeSnap；

利用MatchShape算法，根据所述形式化序列seqModal和所述树状数据结构TreeSnap，计算出操作序列operationList。

进一步，所述ContourDetect算法包括如下步骤：

将当前操作界面的图像快照转换成灰度阈值，并且根据阈值差别查找出所有的轮廓对象；对于每个轮廓对象，首先将其拟合成多边形，并且计算每个多边形的曲率，根据多边形的边数量进行判断：