[发明专利]一种基于自动行车远控系统的视频预测方法

权利要求书

1.一种基于自动行车远控系统的视频预测方法，其特征在于，包括如下步骤，

S1：通过相机拍摄获取原始图像，并进行解码；

S2：收集相机在各类工况下获取的原始图像数据生成训练集；

S3：利用训练集训练MCNet模型，并通过MCNet模型对训练集进行数据处理，得到预测图像；

S4：将预测图像中吊具的位置信息作为loss函数中的一项，在MCNet模型的主干网络后增加多层全连接层，输出吊具的位置信息，并在MCNet模型更新时增加吊具回归Loss函数；

对当前所用MCNet模型进行复制，得到一个镜像的MCNet模型；以前一个历史帧的原始图像为训练数据，进行batch-size为1的小步长训练；

以倒数第二个历史帧的原始图像作为步骤S42中所述的训练数据的验证数据，利用评价函数Metric对其进行性能的验证，若在验证数据的精度更高，则MCNet模型接受更新优化；否则，则MCNet模型的网络各权重仍保持不变；

Metric评价函数如下式：

其中，代表自动行车的小车位置实际值，代表自动行车的小车位置预测值，代表自动行车吊具的摆角实际值，代表自动行车吊具的摆角预测值，代表预测图像的相素预测值，代表预测图像的相素实际值，k1，k2，k3代表各项的权重；

重复步骤S42和步骤S43进行持续更新，并记录更新总长数；

S5：将预测图像制作成h265格式的视频流并采用rtmp形式发布。

2.如权利要求1所述的基于自动行车远控系统的视频预测方法，其特征在于，测试远控系统的预测图像的预测时间的具体步骤如下：

步骤a：用两块具有毫秒级精度的秒表进行对时，分别记录两块秒表的开始时间S1和S2；

步骤b：将其中一块秒表放在相机下，并在远控端屏幕上显示出来，定义该秒表的时间为E1；同时用相机拍摄远控端屏幕和另一块秒表，定义该秒表的时间为E2；由下述公式计算远控系统的延时量，

Delay＝(E1-S1)-(E2-S2)；其中Delay为延时量。