[发明专利]一种基于机器视觉的数字孪生模型修正方法与系统

权利要求书

1.一种基于机器视觉的数字孪生模型修正方法，其特征在于，具体修正方法步骤如下：

步骤(1)、进行数字孪生模型匹配，基于目标识别实现对待修正目标的识别、数字孪生模型的匹配和调用，具体包括：

(1.1)首先借助图像目标识别对待修正目标进行识别判断，确定待修正目标是否为系统中的要素并存在数字孪生模型；

(1.2)在模型库中查找并匹配待修正目标的数字孪生模型；

(1.3)将待修正目标的数字孪生模型从模型库中调出，用于后续的修正执行；

步骤(2)、进行基于机器视觉的数字孪生模型修正控制，实现对数字孪生模型修正策略的制定和执行控制，以及数字孪生模型的版本管理与更新，具体包括：

(2.1)根据待修正目标的外观复杂度、材质特性、运动特性、功能性能、数字孪生模型需求制定数字孪生模型修正策略；

(2.2)根据制定的数字孪生模型修正策略以及策略的执行状态，跳转至步骤(3)或步骤(4)执行具体模型修正操作；

(2.3)判断数字孪生模型修正策略是否执行完毕，如执行完毕，进入步骤(2.4)，如未执行完毕，返回步骤(2.2)；

(2.4)根据数字孪生模型修正策略的执行情况，判断是否需要执行其他模型修正，包括：动作模型修正后需要对控制系统模型进行修正、三维模型修正后需要对物理属性模型进行修正、三维模型在修正中发现缺陷需要对故障预测模型进行修正，如需要执行其他模型修正，进入步骤(2.5)，如不需要，进入步骤(2.6)；

(2.5)调用其他模型修正系统对数字孪生模型做进一步修正；

(2.6)对数字孪生模型进行版本管理与更新，包括修正前的数字孪生模型记录、备份，修正后的数字孪生模型的修正记录、更新、功能对接；

步骤(3)、进行数字孪生三维模型修正，基于图像识别对数字孪生三维模型是否需要修正进行判断并执行修正操作，具体包括：

(3.1)基于待修正目标状态对图像识别策略进行确认，设置物理空间中待修正目标图像扫描的软硬件环境，并在虚拟空间中设置相同的扫描条件；

(3.2)对待修正目标进行图像扫描，包括三维点云扫描以及各角度的图像采集；

(3.3)在虚拟空间中以相同角度对待修正目标的数字孪生三维模型进行虚拟扫描并生成图像；

(3.4)对物理扫描图像与虚拟扫描图像进行预处理，包括点云数据生成三维模型，采集图像的待修正目标分割，图像几何特征提取，并对预处理后的物理扫描图像、模型与虚拟扫描图像、模型进行比对，判断并记录差异；

(3.5)根据比对结果判断是否需要修正数字孪生三维模型，如需要，进入步骤(3.6)，如不需要，进入步骤(2.2)；

(3.6)基于比对结果与待修正目标状态定位修正点，对数字孪生三维模型进行修正，包括对如下异常状态进行修正：几何结构与尺寸修正，表面材质状态修正，磨损、腐蚀、裂纹、断裂缺陷状态修正，修正完成后返回步骤(3.3)；

步骤(4)、进行数字孪生运动模型修正，基于动作捕捉对数字孪生运动模型是否需要修正进行判断并执行修正操作，具体包括：

(4.1)基于待修正目标状态对动作捕捉策略进行确认，设置物理空间中待修正目标动作捕捉的软硬件环境，并设置数字孪生模型与待修正目标动作信号的数据连接；

(4.2)待修正目标依据动作捕捉策略执行动作，进行动作捕捉，并采集待修正目标相关动作信号，包括线位移、线速度、线加速度、角位移、角速度、角加速度；

(4.3)数字孪生模型基于待修正目标动作信号执行动作，并记录动作数据；

(4.4)对待修正目标动作捕捉数据与数字孪生模型动作数据进行预处理，生成待修正目标与数字孪生模型的机构运动图，并对待修正目标与数字孪生模型的机构运动图与动作数据进行比对，判断并记录差异；

(4.5)根据比对结果判断是否需要修正数字孪生运动模型，如需要，进入步骤(4.6)，如不需要，进入步骤(2.2)；

(4.6)基于动作比对结果与待修正目标状态定位修正点，对数字孪生运动模型进行修正，包括运动机构结构与运动形式、运动边界、物理动作信号映射逻辑，修正完成后返回步骤(4.3)。

2.一种基于机器视觉的数字孪生模型修正系统，其特征在于，包括：

数字孪生模型匹配模块，该模块实现对待修正目标进行识别判断，确定待修正目标是否为系统中的要素并存在数字孪生模型，同时借助系统接口实现在模型库中查找并匹配待修正目标的数字孪生模型，并将数字孪生模型从模型库中调出，用于后续的修正执行；

基于机器视觉的数字孪生模型修正控制模块，该模块根据待修正目标的外观复杂度、材质特性、运动特性、功能性能、数字孪生模型需求制定数字孪生模型修正策略，依据修正策略控制数字孪生三维模型修正模块与数字孪生运动模型修正模块的执行，数字孪生模型修正策略执行完毕后根据策略的执行情况，判断是否需要执行其他模型修正，并调用其他模型修正系统，最后对数字孪生模型进行版本管理与更新；

数字孪生三维模型修正模块，该模块通过接收基于机器视觉的数字孪生模型修正控制模块的控制指令和修正策略，对修正策略进行确认后设置待修正目标与数字孪生三维模型的图像扫描环境，执行待修正目标与数字孪生三维模型的图像扫描并进行扫描图像预处理，对预处理后的物理扫描图像、模型与虚拟扫描图像、模型进行比对，基于比对结果判断并执行数字孪生三维模型修正；

数字孪生运动模型修正模块，该模块通过接收基于机器视觉的数字孪生模型修正控制模块的控制指令和修正策略，对修正策略进行确认后设置待修正目标动作捕捉软硬件环境以及数字孪生模型与待修正目标动作信号的数据连接，待修正目标执行动作指令并对其进行动作捕捉，同时数字孪生模型基于待修正目标的动作信号执行动作并记录动作数据，生成待修正目标与数字孪生模型的机构运动图，并对待修正目标与数字孪生模型的机构运动图与动作数据进行比对，基于比对结果判断并执行数字孪生运动模型修正。