[发明专利]一种基于数字孪生的人-机交互安全预警与控制方法

权利要求书

1.一种基于数字孪生的人-机交互安全预警与控制方法，其特征在于，基于深度学习和多目视觉相结合实现虚拟场景的人-机交互识别和反馈控制，其步骤如下：

S1，基于深度学习算法识别双目摄像机拍摄的图像中工作人员及工作人员人体关键点位置；

所述步骤S1中识别图像中工作人员及工作人员人体关键点位置的方法为：

S1.1，在人-机交互环境中布置两个双目摄像机；

S1.2，利用双目摄像机拍摄视频图像，建立实际场景下工作人员图像数据集，并制作人体关键点数据集；

S1.3，基于原始的预训练模型YOLO V3-A进行迁移学习训练获得工作人员检测网络；

S1.4，在预训练模型YOLO V3-A的基础上，保留预训练模型YOLO V3-A的前N层中全部参数，再用步骤S1.2中的工作人员图像数据集重新训练预训练模型YOLO V3-A的后M层参数，最后得到工作人员检测模型YOLO V3-B，利用工作人员检测模型YOLO V3-B识别双目摄像机拍摄图像获取图像中的工作人员；

S1.5，设计人体关键点识别网络模型，利用公开人体关键点数据集COCO2017和步骤S1.2制作的人体关键点数据集训练人体关键点识别网络模型，获取图像中人体关键点坐标，实现人体关键点在视频图像中位置的精准预测；

所述步骤S1.5中人体关键点识别网络模型包括一级网络和二级网络，一级网络和二级网络均是基于ResNet50网络的后四个残差模块作为骨干网络设计提取人体关键点特征，其实现方法为：

S1.5.1，一级网络基于ResNet50网络设计，利用ResNet50网络后四个残差模块提取人体关键点特征，将ResNet50网络中最后一个残差模块的普通卷积修改成步长为1、扩张率为2的扩张卷积，将ResNet50网络中最后一个残差模块的特征图通道数修改为原来的1/2；在一级网络中经过卷积得到的人体关键点特征图进行热力图输出，将这些热力图进行叠加融合作为热力图集输出；

S1.5.2，使用跨级别特征融合的方法实现一级网络和二级网络间的连接：一级网络中某阶段的特征图和热力图通过1×1卷积后输入到二级网络中对应阶段，二级网络该阶段特征具备了第一级网络的特征图、热力图和本身的特征图三个输入量；

S1.5.3，二级网络设计：二级网络利用ResNet50网络后四个残差模块提取人体关键点特征，在最后一个残差模块后增加两次反卷积，利用上下文信息进行预测；

S1.5.4，利用公开数据集COCO2017和自己根据真实人-机交互场景制作的人体关键点数据集训练人体关键点识别网络模型；

S2，将标签粘贴在机器人各运动关节处，通过Canny边缘检测和霍夫圆检测算法识别图像中的标签位置从而获得机器人的位置；

S3，基于双目视觉测距原理测量工作人员人体关键点和各标签的空间坐标，计算工作人员与机器人间的距离；

S4，搭建人-机交互安全预警孪生系统，实现人-机交互物理场景与虚拟场景的交互共融，迭代优化，实时在线可视化监控人-机交互过程的安全；

所述S4中人-机交互安全预警孪生系统包括人-机交互场景的物理系统、虚拟系统和服务系统，物理系统与服务系统连接交换数据，服务系统与虚拟系统连接交换数据；服务系统给物理系统下发控制指令，控制物理系统设备运行状态；物理系统中设备的运行数据传送给服务系统，经服务系统处理后发送给虚拟系统，虚拟系统中基于设备运行数据驱动虚拟仿真模型，对现实物理系统模拟优化，优化出最佳人-机工作空间，并根据不同的人-机之间距离S，给出系统不同控制方案，服务系统中基于虚拟系统优化的结果，下达最优管控指令，保障人-机交互安全；在人-机交互过程中，物理系统的运行状态和仿真系统对物理系统的仿真、验证与优化结果不断反馈给服务系统，服务系统再次对管控方案做优化，实时高效保障人-机交互过程的安全。

2.根据权利要求1所述的基于数字孪生的人-机交互安全预警与控制方法，其特征在于，所述步骤S1.2中建立实际场景下工作人员图像数据集和制作人体关键点数据集的方法为：将拍摄视频分解成一帧一帧保存为统一格式、像素大小的图片；利用labelimg软件框出图像中工作人员和工作人员的人体关键点，制作每张图片对应的同名XML文件，XML文件内容包括框出的工作人员和工作人员的人体关键点矩形框的坐标、备注的类别，从而制作出来工作人员图像数据集和人体关键点数据集。