[发明专利]面向数字仿真环境的机器人目标跟踪方法、装置和设备

权利要求书

1.一种面向数字仿真环境的机器人目标跟踪方法，其特征在于，所述方法包括：

获取当前数字仿真环境中仿真机器人上单目相机捕获的连续多帧图片；仿真机器人装配的单目相机与真实机器人装配的单目相机的视野及编码参数均相同；数字仿真环境是根据真实环境以及真实机器人参数按照1:1的比例仿真得到的；

将当前帧图片进行预处理后的预处理结果输入到目标检测网络中，得到目标物体及目标物体位置坐标偏移量；所述目标检测网络用于采用改进的残差结构网络对所述预处理结果进行特征提取，然后对提取的不同层次的特征进行融合，并根据融合后的特征进行预测，得到目标物体及目标物体位置坐标偏移量；

将所述目标物体输入到目标匹配网络中进行特征匹配，得到匹配物体的ID和类别；所述目标匹配网络用于采用Resnet结构的网络提取所述目标物体的特征，并采用Memo单元对提取的特征进行匹配分类，得到匹配物体的ID和类别；

当匹配物体与当前被跟踪物体的类别和ID相符时，则将匹配物体的目标框的坐标与激光雷达测量的角速度、线速度以及距离信息进行数据融合换算，得到当前被跟踪物体的ID、位置和速度；

将当前被跟踪物体的ID、位置和速度传输到数字仿真环境的控制端，在数字仿真环境的控制端生成控制数字仿真环境的行为控制指令；

根据所述行为控制指令驱动当前仿真机器人进行相应的动作行为，实现在数字仿真环境中当前仿真机器人对跟踪对象的追踪；

其中，所述Memo单元包括2个CBCL模块、2个卷积层、1全局平均池化层、以及Softmax函数；目标物体特征为目标匹配网络采用Resnet结构的网络提取的所述目标物体的特征；

将所述目标物体特征输入到所述Memo单元中进行特征匹配，得到匹配物体的ID和类别，包括：

将所述目标物体特征输入到Memo单元的第一个CBCL模块中，将得到结果输入到Memo单元的第二个CBCL模块中，并将得到的结果输入到Memo单元的第一个卷积层中，得到第一特征；

将所述目标物体特征输入到Memo单元的全局平均池化层中，将得到池化结果输入到Memo单元的第二个卷积层中，并将得到的卷积结果采用Softmax函数激活，得到第二特征；

将所述第一特征和所述第二特征乘积融合后，得到匹配物体的ID和类别。

2.根据权利要求1所述的方法，其特征在于，获取当前数字仿真环境中仿真机器人上单目相机捕获的连续多帧图片，步骤前还包括：

获取机器人、场地、障碍物的实际参数；所述机器人配置有激光雷达；所述场地的实际参数包括：场地面积、场地内的细节特征；

根据所述实际参数对机器人、场地、障碍物进行1:1建模；仿真机器人配置有模拟激光雷达和模拟单目相机；所述模拟激光雷达用于测量当前仿真机器人到被跟踪物体之间的距离；所述模拟单目相机用于实时拍摄定位到的机器人的视野范围，并将捕获到的视图传输到控制端；

将多个仿真机器人分为两组，并进行标识，将障碍物的属性设置为可在场地内任意位置随意添加，并将场地、所有仿真机器人以及相应位置添加的障碍物的模型进行融合渲染，得到数字仿真环境的测试场景；

给每一个仿真机器人设置配置文件，所述配置文件包括预先编写好的运动轨迹；

将模拟单目相机捕获的视图、模拟激光雷达捕获的相关距离信息和每只机器人的速度信息在控制端进行整合，并将得到的整合信息传输到对应的接口；所述整合信息包括：ID、时间戳、图像信息、线速度、角速度、及仿真机器人的姿态信息。