[发明专利]一种生产行为数字孪生模型的构建方法

权利要求书

1.一种生产行为数字孪生模型的构建方法，其特征在于，包括：

S1：在生产区域内构建视觉传感网络，所述视觉传感网络包括深度视觉传感器和摄像头；

S2：摄像头采集RGB图像，对摄像头所监管区域进行标定和目标区域划分，构建目标检测网络，然后通过所述目标检测网络对目标区域内的关键制造资源进行识别与分类，得到关键制造资源的识别分类结果和像素坐标，所述像素坐标根据宏观映射关系f₁得到关键制造资源的物理世界坐标；

S3：通过深度视觉传感器获取生产场景内全部人员的骨架关节点坐标数据，对骨架关节点坐标数据进行二次处理，得到由骨架关节点间的夹角和距离值组成的特征向量Features；

S4：使用标准化重构方法对所述特征向量Features进行归一化处理，得到人体行为的时空特征灰度图像；构建行为识别模型，通过所述行为识别模型对所述时空特征灰度图像进行时空域的行为识别，得到行为识别结果；

S5：根据微观映射关系f₂，对人体骨架关节点坐标数据进行处理，将每个骨架关节点的坐标从相机坐标系转换为世界坐标系，得到生产人员物理世界坐标，所述生产人员物理世界坐标结合所述行为识别结果即生产行为的微观表述；

S6：将所述关键制造资源的物理世界坐标和识别分类结果、所述生产人员物理世界坐标和所述行为识别结果作为生产行为孪生数据构建数字孪生模型。

2.如权利要求1所述的构建方法，其特征在于，所述步骤S2中，所述对摄像头所监管的区域进行标定和目标区域划分包括：

S211：将黑白棋盘格标定板放到摄像头成像区域内，从摄像头中获取标定图片；

S212：通过张正友标定法进行摄像头标定，得到摄像头内外参数；

S213：根据摄像头内外参数对摄像头采集的生产场景内的RGB图像进行矫正；

S214：对矫正后的RGB图像进行目标区域划分。

3.如权利要求2所述的构建方法，其特征在于，所述步骤S2中，所述通过目标检测网络对目标区域内的关键制造资源进行识别与分类，得到关键制造资源的识别分类结果和像素坐标，包括：

S221：对矫正后的RGB图像中目标区域内的物体进行人工标记，得到标记后图像，对标记后图像的RGB三通道像素值都进行归一化，得到归一化图像；

S222：将归一化图像投入到目标检测网络中训练直至模型收敛，得到收敛后的目标检测网络；

S223：通过收敛后的目标检测网络对来自多摄像头的视频帧图像进行关键制造资源的识别与分类，得到关键制造资源的识别分类结果和对应的像素坐标。

4.如权利要求3所述的构建方法，其特征在于，所述步骤S2中，所述宏观映射关系f₁的计算步骤包括：

S231：在实际生产区域中采集二维物理坐标(x，y)，并在对应的所述RGB图像中获取(x，y)所对应的像素坐标(u，v)；

S232：利用机器学习的多输出回归算法，拟合所述RGB图像中目标所在的像素坐标(u，v)与实际生产区域中关键制造资源所在的物理坐标(x，y)的宏观映射关系f₁。

5.如权利要求4所述的构建方法，其特征在于，所述步骤S3中，所述通过深度视觉传感器获取生产场景内全部人员的骨架关节点坐标数据包括：通过深度视觉传感器的预设输出接口获得生产场景内全部人员的骨架关节点位置信息SkeletonData’＝{x″₁，y″₁，z″₁，...，x″₂₅，y″₂₅，z″₂₅}。