[发明专利]一种刚体碰撞轨迹预测显示装置

摘要

本发明提出了一种刚体碰撞轨迹预测显示装置，由鸟瞰摄像机、冲撞视角摄像机、可穿戴观察设备、瞄准适配器、数据处理设备、刚体碰撞轨迹预测软件系统组成。软件系统配置于数据处理设备中，分为摄像机标定系统、目标识别系统、空间姿态计算系统、刚体轨迹预估系统几个模块。通过分析鸟瞰摄像机与冲撞视角摄像机传入的视频数据，结合瞄准适配器传入的空间位姿信息，得到工作平面上各刚体的空间位置以及冲撞方的姿态和力度，从而计算得出冲撞方与被撞方碰撞后的可能运动轨迹，并将该轨迹与现实场景相叠加显示于可佩带观察设备的显示屏中。实现对碰撞轨迹的预测及实时显示，让使用者可以在碰撞发生前对各刚体的位置和运动状态等进行调整。

主权项

一种刚体碰撞轨迹预测显示设备，其特征在于：包括如下六个关键元件，为：鸟瞰摄像机，用于获取完整工作平面的俯视彩色视频数据并通过数据通讯传至数据处理设备；冲撞视角摄像机，用于获取冲撞方运动方向的视频数据，并通过数据通讯传至数据处理设备；可穿戴观察设备，佩戴于使用者头部的眼镜或头盔，具有视频显示能力，通过数据通讯接收数据处理设备传入的视频数据；瞄准适配器，与数据处理设备有数据通讯，包括激光发射模块，微机电陀螺仪，加速度传感器，无线通讯模块，可充电电池；数据处理设备，基于X86或X64的个人计算机或具有同等处理能力的嵌入式平台，与鸟瞰摄像机、冲撞视角摄像机、可穿戴观察设备、瞄准适配器具有数据通讯；刚体碰撞轨迹预测软件系统，包括摄像机标定系统、目标识别系统、空间姿态计算系统和刚体轨迹预估系统，配置于数据处理设备上；所述鸟瞰摄像机、冲撞视角摄像机、可穿戴观察设备、瞄准适配器与所述数据处理设备的数据通讯可采用有线连接或无线连接的形式；所述冲撞视角摄像机的观察方向与使用者肉眼观察方向相同，观察视角大于或等于人眼视角；所述的瞄准适配器可固定于冲撞方外壳上，激光发射模块发射的激光所指向的方向与冲撞方运动方向相一致，且激光所在直线与冲撞方运动方向的对称轴线重合；所述的刚体碰撞轨迹预测软件系统，通过摄像机标定系统及目标识别系统，可以获得鸟瞰摄像机与工作平面的距离，以及工作平面上各个刚体在空间中的三维坐标数据；所述的刚体碰撞轨迹预测软件系统的空间姿态计算系统，利用冲撞视角摄像机传入的视频数据，以及瞄准适配器传入的陀螺仪数据，可以通过联合分析被撞方表面上激光光斑的位置以及陀螺仪的三维数据，得到冲撞方相对于所指向的被撞方的空间姿态；所述的刚体碰撞轨迹预测软件系统的刚体轨迹预估系统，可以通过联合分析空间姿态计算系统给出的冲撞方的空间姿态、被撞方的三维空间位置，得到刚体碰撞后被撞方的运动轨迹以及该轨迹上第一个被撞击的其他刚体的运动轨迹；所述的刚体碰撞轨迹预测软件系统的刚体轨迹预估系统，可以将预估的轨迹通过图像配准方法转换至可穿戴观察设备显示屏中图像所在的坐标系，并传输至可穿戴观察设备，将预测的轨迹与实际场景叠加显示；所述刚体碰撞轨迹预测显示设备的工作流程如下：步骤S101和S201，使用摄像机标定方法获取冲撞视角摄像机和鸟瞰摄像机的内外参数，由于摄像机捕获图像涉及到图像坐标系、摄像机坐标系与世界坐标系，且世界坐标系[Xw,Yw,Zw]与图像坐标系[u,v]间的转换关系为：uv1=1/dx0u001/dyv0001f0000f000010Rt0T1gXwYwZw1=ax0u000ayv000010Rt0T1gXwYwZw1]]>其中dx,dy是成像平面的像素在x,y方向的物理尺寸，u0,v0则是摄像机光轴和成像平面的交点在图像坐标系下的坐标，也称为主点坐标，f为摄像机焦距，R是一个3x3的旋转矩阵，t是3x1的平移矩阵，通过摄像机标定可以获得上述各项参数，从而得到图像坐标系、摄像机坐标系、世界坐标系之间的具体转换关系，并且在标定时获得鸟瞰摄像机与工作平面之间的距离信息；步骤S102和S202，鸟瞰摄像机及冲撞视角摄像机以能够满足处理需求的分辨率捕获彩色视频数据；步骤S103、S104和S203、S204，通过对视频数据的每一帧图像进行基于RGB颜色的目标识别以及基于canny算子的边界检测，计算两种识别结果的交集，得到工作平面上球状物体在图像坐标系下的位置，结合之前步骤中对摄像机标定所得到的内外参信息，可以得到桌上球状物体在摄像机坐标系以及图像坐标系下的位置坐标；步骤S105，由于已知工作平面上被撞方以及其他刚体在鸟瞰摄像机以及冲撞视角摄像机的图像坐标系、世界坐标系、摄像机坐标系下的坐标，且已知鸟瞰摄像机距离工作平面的距离，根据不同坐标系下相同目标之间的对应关系，通过点集配准方法，可以计算得到鸟瞰摄像机与冲撞视角摄像机的图像坐标系中刚体目标之间的坐标转换矩阵；步骤S301和步骤S302，与步骤S102相同，冲撞视角摄像机捕获冲撞运动方向的视频数据，通过目标识别发现视频图像中存在被撞方的侧面，且侧面上有从瞄准适配器射出的激光光斑时，确认冲撞方正面向被撞方；步骤S303，由于已经得到图像坐标系中被撞方侧面的范围以及激光光斑的位置，根据之前得到的摄像机内外参信息以及鸟瞰摄像机坐标系与冲撞视角摄像机坐标系之间的关系，可以得到激光光斑在世界坐标系下的位置；步骤S401，S402，通过瞄准适配器中的陀螺仪采集空间姿态，通过瞄准适配器中的加速度计采集冲撞方的纵向加速度，并通过无线传输的形式传至数据处理设备；步骤S304，根据激光斑点在被撞方侧面的位置、瞄准适配器的空间姿态，由于被撞方是刚体，则可以得到冲撞方相对于被撞方的空间姿态及位置；步骤S206，根据所得到的数据，利用力学相关原理求解世界坐标系下冲撞方与被撞方发生碰撞后被撞方在工作平面上的运动轨迹，其中空气阻力不计，工作平面与冲撞方、被撞方之间的摩擦系数使用预先测定的值，判断被撞方运动轨迹上的其他刚体目标，如果有，则利用同样规则计算第一个目标被撞后的运动轨迹；步骤S207，通过之前得到的鸟瞰摄像机坐标系与冲撞视角摄像机坐标系之间的关系，利用在两者所捕获视频中相同的刚体目标，将步骤S206中得到的世界坐标系下的运动轨迹转换至冲撞视角摄像机的图像坐标系下；步骤S208，在可穿戴观察设备的显示设备中叠加显示步骤S207得到的轨迹以及冲撞视角摄像机捕获得到的视频数据。