[发明专利]一种使用时域视觉传感器的双目立体深度匹配方法

摘要

本发明公开了一种使用时域视觉传感器的双目立体深度匹配方法，并给出具体实现步骤。与目前广泛使用的基于“帧图像”的双目立体深度匹配方法不同，本发明使用一种新型成像器件‑‑时域视觉传感器进行视觉信息采集，以其输出事件序列作为算法输入来进行空间运动目标的立体深度匹配与计算。由于这种成像器件只对拍摄场景中的光强变化进行采样与输出，因此具有很高的时间分辨率以及极低的信息冗余。与现有的方法相比，本发明提出的立体深度匹配方法可以显著地降低计算量，提高算法的实时性与连续性。

主权项

1.一种使用时域视觉传感器TVS的双目立体深度匹配方法，其特征在于：该方法使用一对经标定配准的TVS作为视觉输入源，以左TVS输出的变化事件AE序列为参考，对右TVS的AE序列进行时间‑‑空间的双重比较来得到匹配代价，选取具有最小匹配代价且满足匹配顺序一致性和视差平滑性检查的右AE作为匹配对象；该方法按如下步骤进行：设空间运动点在经过标定校正的左右TVS产生的AE序列分别为，和{AE(x_j,y_j,P,t_j,R)} ， 其中L代表左TVS，R代表右TVS；下标i，j分别表示左、右TVS产生的第i和第j个AE，P为AE极性，ti，tj为AE的时间标记；{ }表示按时间排序的AE队列；循环执行以下步骤：（1）设初始时刻Tc=0，FPGA控制器收集来自左右TVS的AE，对其进行时间戳标记和来源标记，根据其来源和时间分别顺序加入并将Tc更新为最新接收AE的时间；（2）若Tc≤ΔT，返回（1）继续收集AE；否则继续；其中ΔT为预设的延迟时间，其意义是只对距当前时间ΔT之前的AE进行处理，建议值ΔT=2ms；（3）自AE_L中选择未被处理且与Tc间隔大于ΔT的最近作为参考AE，将满足以下条件的加入匹配目标候选集合：、时间差有限性：（式2）、视差距离有限性：（式3）ΔD为水平差距，建议值ΔD=2像素；、极线平行：（式4）ΔH为垂直差距，建议值ΔH=2像素；、左右AE属性：左AE极性与右AE极性相同；、匹配唯一性：未与其他AE匹配；（4）计算匹配代价；使用以下公式计算与匹配目标候选集合中每个AE的匹配代价：（式5）上式中W1为极线差权重，建议值0.7，当yi=yj时，此项为0；W2为时间差权重，建议值0.3；（5）匹配AE确定：、选择匹配目标候选集中具有最小匹配代价的AE进行匹配顺序一致性检查：对深度匹配图中(x_j,y_j)周围ΔL范围内的视差值进行匹配顺序一致性检查：若(x_i,y_i)左右两侧ΔL范围内有其它点已匹配，则他们的水平匹配方向不能相反； ΔL建议值3~5；、视差平滑性检查：将当前所得视差与(x_j,y_j)周围ΔL范围内的已有视差平滑一致性检查；若当前视差为Dc，周围已有视差的平均值为标准差为则：（式6）K为经验参数，；、若当前匹配目标满足以上条件，认为其匹配，将视差(x_j‑x_i)写入深度匹配图(x_i,y_i)位置，且标记为已匹配；若不满足，则选取匹配目标候选集合中具有次最小代价的AE重复上述过程；若选择匹配目标集中的AE均不满足上述条件，则深度匹配图(x_i,y_i)位置标记为0；（6）返回（1）继续或结束。