[发明专利]基于多模态孪生神经网络的RPA流程推荐方法及系统

权利要求书

1.一种基于多模态孪生神经网络的RPA流程推荐方法，其特征在于，包括：

S1：构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’，计算获得第一实体集的表征集和第二实体集的表征集；

S2：构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；

S3：获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案；

步骤S1具体为：

S11：将RPA业务流程中的各流程作为实体，以实体-关系-实体构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E’；

S12：获得实体集中各实体的关系三元组、实体-图像对和属性三元组；

S13：通过实体-图像对获得实体的视觉模态表征，通过关系三元组获得实体的关系模态表征，通过属性三元组获得实体的属性模态表征；

S14：将视觉模态表征、关系模态表征和属性模态表征进行拼接获得全面表征；

S15：将视觉模态表征、关系模态表征、属性模态表征和全面表征作为实体的表征集；

S16：重复步骤S12-S15，获得第一实体集的表征集和第二实体集的表征集；

第一实体集E中的实体表示为e∈E；视觉模态表征表示为e_I∈E_I；关系模态表征表示为e_R∈E_R；属性模态表征表示为e_A∈E_A；全面表征表示为e_M∈E_M，，||表示拼接操作；

第二实体集E’中的实体表示为e’∈E’；视觉模态表征表示为e_I’∈E’_I；关系模态表征表示为e_R’∈E’_R；属性模态表征表示为e_A’∈E’_A；全面表征表示为e_M’∈E’_M；

第一实体集E和第二实体集E’的各表征的计算过程相同；

视觉模态表征的获得过程为：

对于第一实体集E中的每个实体-图像对(e,i)，通过线性变换得到实体的视觉模态表征，表达式为：

其中，EfficientNet为特征提取函数，i为图像，e为实体，e_I为实体e的视觉模态表征，E_I为视觉模态表征集合，W₁、b₁均为嵌入操作的超参数；

属性模态表征的获得过程为：

对于第一实体集E中的属性三元组的描述属性的词的集合，使用ELECTRA学习每个词的嵌入，求嵌入平均值后采用线性变换作为属性嵌入a，表达式为：

其中，表示描述属性的词的集合，Aug()表示求平均，W₃、b₃均为嵌入操作的超参数；

获取属性三元组中属性的值，采用sigmoid函数进行归一化来形成嵌入v；

将属性嵌入a与值嵌入v拼接后进行线性变化得到总属性嵌入s，表达式为：

获得属性三元组中各词的总属性嵌入s_j，j为词的编号，W₄、b₄均为嵌入操作的超参数；

计算获得各词的总属性嵌入的注意力权重，计算公式为：

其中exp()表示自然指数函数，c为词的编号，k为词的总数；

实体e的属性模态表征的计算公式为：

其中，为各词的总属性嵌入的注意力权重，s_j为各词的总属性嵌入。