[发明专利]一种基于自动行车远控系统的视频预测方法

说明书

本发明提出一种基于自动行车远控系统的视频预测方法，包括如下步骤，通过相机拍摄获取原始图像并进行解码；收集相机获取的原始图像数据生成训练集；利用训练集训练MCNet模型并通过MCNet模型对训练集进行数据处理；将预测图像中吊具的位置信息作为loss函数中的一项，在MCNet模型的主干网络后增加多层全连接层输出吊具的位置信息，并在MCNet模型更新时增加吊具回归Loss函数；对当前所用MCNet模型进行复制得到镜像的MCNet模型；以前一个历史帧的原始图像为训练数据进行小步长训练；以倒数第二个历史帧的原始图像作为训练数据的验证数据对其进行性能验证，若验证数据的精度更高，则MCNet模型接受更新优化；否则，则MCNet模型的网络各权重保持不变；将预测图像制视频流并发布。

【技术领域】

本发明涉及工业自动化控制领域，尤其涉及一种基于自动行车远控系统的视频预测方法。

【背景技术】

行车作为大负载的通用物流设备，在绝大部分的工厂车间都会用到各类行车起重机，如矿业，钢铁行车，有色金属行车，机械加工制造业等。行车的驾驶人员需要掌握一定的技术技能，同时又需要长时间的工作在狭小的驾驶室。

基于传统防摇算法，一般采用可编程控制器和变频器，根据操作指令及起重机的实时运行状况计算出能消除载荷摇摆的大小车运行速度，再通过变频器根据所要求的速度驱动大车和小车运行，从而实现消除起重机载荷摇摆现象。

依靠此类方法，但是由于技术和成本的问题，我国桥式起重机的自动化程度还是相当的低，全行业的自动化程度不到千分之一。

自动行车的远控和视频监控是一种有效解决工作环境差的方法，但是目前行车的远控一般采用的是相对廉价的IPC相机作为主要传感器。由于IPC相机，一般存在着较大的图像延时，延时会极大的增加操作的难度并且存在安全隐患。

鉴于此，实有必要提供一种新型的基于自动行车远控系统的视频预测方法以克服上述缺陷。

【发明内容】

本发明的目的是提供一种基于自动行车远控系统的视频预测方法，解决视频延时的问题，成本低，且对网络延时要求较低，可满足用户通过参数设置完成固定延时的补偿，预测自动行车的吊具的位置，还能够极大地减少了计算量。

为了实现上述目的，本发明提供一种基于自动行车远控系统的视频预测方法，包括如下步骤，

S1：通过相机拍摄获取原始图像，并进行解码；

S2：收集相机在各类工况下获取的原始图像数据生成训练集；

S3：利用训练集训练MCNet模型，并通过MCNet模型对训练集进行数据处理，得到预测图像；

S4：将预测图像中吊具的位置信息作为loss函数中的一项，在MCNet模型的主干网络后增加多层全连接层，输出吊具的位置信息，并在MCNet模型更新时增加吊具回归Loss函数；

对当前所用MCNet模型进行复制，得到一个镜像的MCNet模型；以前一个历史帧的原始图像为训练数据，进行batch-size为1的小步长训练；

以倒数第二个历史帧的原始图像作为步骤S42中所述的训练数据的验证数据，利用评价函数Metric对其进行性能的验证，若在验证数据的精度更高，则MCNet模型接受更新优化；否则，则MCNet模型的网络各权重仍保持不变；

Metric评价函数如下式：

其中，代表自动行车的小车位置实际值，代表自动行车的小车位置预测值，代表自动行车吊具的摆角实际值，代表自动行车吊具的摆角预测值，代表预测图像的相素预测值，代表预测图像的相素实际值，k1，k2，k3代表各项的权重；

重复步骤S42和步骤S43进行持续更新，并记录更新总长数；