[发明专利]基于多模态孪生神经网络的RPA流程推荐方法及系统

说明书

本发明提供一种基于多模态孪生神经网络的RPA流程推荐方法及系统，包括：S1：构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’，计算获得第一实体集的表征集和第二实体集的表征集；S2：构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；S3：获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案。本发明可以在历史信息的支持下，针对RPA中新的业务需求提供一个基于相似度的业务流程路径推荐，使RPA应用更加智能化、自动化和高效化。

技术领域

本发明涉及RPA技术领域，尤其涉及一种基于多模态孪生神经网络的RPA流程推荐方法及系统。

背景技术

随着软件自动化等技术的迅速发展，RPA(Robotic Process Automation)已广泛应用于企业的自动化转型中。通过元素抓取和预先编制好的业务流程，RPA可以自动执行任务，取代人工操作，提高效率并降低成本。高效而精确的业务流程推荐是RPA应对频繁变更的业务需求时的必然要求，它有助于优化流程的设计，提高自动化生产的效率，并减少在RPA应用的开发成本。然而，RPA涉及到的业务流程往往具有高度复杂性，需要通过多模态信息进行综合分析和处理，因此RPA业务流程推荐更是一项极其复杂的任务。

现有的RPA业务流程推荐方法通常基于图结构，使用图挖掘和图匹配来推荐出最合适的候选节点。但是，业务流程通常会涉及到从不同的来源（例如文本、表格、图像等）获取数据，这些数据包含不同模态的信息，为RPA理解业务流程需求提供不同的视角和信息。仅基于图结构的方法无法全面建模业务领域知识图谱，整合当前流程片段的多模态信息，进而精确地推荐出符合实际业务需求的后续流程片段。因此，这类推荐方法的灵活性和扩展性有待提升。论文“On the Use of Knowledge Graph Completion Methods forActivityRecommendation in Business Process Modeling”从流程间的逻辑关系出发，使用知识图谱进行业务流程建模。然而，业务流程描述中多模态数据的对齐还需进一步研究。在多模态知识图谱领域，有相当多的工作致力于实体对齐，然而现有方法直接合并单模态特征嵌入，很大程度上忽略了多模态实体对齐中的模态之间的交互效应，如何在多模态实体对齐的知识学习中融入模态之间的交互效应仍然是一个巨大的挑战。

发明内容

为解决上述技术问题，本发明提供一种基于多模态孪生神经网络的RPA流程推荐方法，包括：

S1：构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’，计算获得第一实体集的表征集和第二实体集的表征集；

S2：构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；

S3：获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案。

优选的，步骤S1具体为：

S11：将RPA业务流程中的各流程作为实体，以实体-关系-实体构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’；

S12：获得实体集中各实体的关系三元组、实体-图像对和属性三元组；

S13：通过实体-图像对获得实体的视觉模态表征，通过关系三元组获得实体的关系模态表征，通过属性三元组获得实体的属性模态表征；

S14：将视觉模态表征、关系模态表征和属性模态表征进行拼接获得全面表征；

S15：将视觉模态表征、关系模态表征、属性模态表征和全面表征作为实体的表征集；