[发明专利]一种智能盲人辅助系统

摘要

本发明公开了一种新型智能盲人辅助系统，该系统利用红外投射器投射不可见的近红外静态散斑，利用两个红外相机和一个彩色相机采集图像，利用姿态角传感器获取相机的姿态角信息，对图像中的深度信息和颜色信息、姿态角信息进行处理，检测出图像中的地面和障碍物，最后将检测结果转化为非语义的声音编码，通过骨传导耳机传递给盲人进行辅助，可以很好地满足盲人辅助的要求。

主权项

1.一种智能盲人辅助系统，所述系统包含一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块；三个相机的姿态角一致，且通过姿态角传感器实时地获取；姿态角传感器与串口转USB模块相连，红外投射器、两个红外相机、彩色相机、串口转USB模块分别通过USB集线器与小型处理器相连，电池模块与小型处理器相连；小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的红外图像；彩色相机实时地采集三维场景的彩色图像；姿态角传感器实时采集三个相机的姿态角，串口转USB模块将姿态角传感器输出的姿态角数据转为USB数据；USB集线器将相机获取的图像和姿态角传感器获取的数据，传给小型处理器；小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理，检测出场景中的地面和障碍物信息，并将检测结果转为非语义的声音编码信号，并传给骨传导耳机模块；骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号，传给两个骨传导震动模块；两个骨传导震动模块，传递骨传导震动信号给盲人用户；所述系统通过以下方法对盲人进行智能辅助：(1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR‑x,c_IR‑y)，两个红外相机的基线距离B_IR‑IR；(2)对彩色相机进行一次相机标定，获取彩色相机的焦距f_color，主点位置(c_COLOR‑x,c_COLOR‑y)；(3)对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离B_IR‑COLOR；(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中；(5)两个红外相机采集三维场景的两张红外图像IR_left和IR_right；(6)彩色相机采集三维场景的彩色图像Color；(7)姿态角传感器采集三个相机的X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z；(8)串口转USB模块将姿态角传感器获取的串口数据转为USB数据；(9)USB集线器将两张红外图像IR_left和IR_right，彩色图像Color，X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z传给小型处理器；(10)小型处理器对两张红外图像IR_left和IR_right提取Sobel边缘，获取两张Sobel边缘图像Sobel_left和Sobel_right；(11)以左Sobel边缘图像Sobel_left为基准，对两张Sobel边缘图像Sobel_left和Sobel_right进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e₁,e₂,e₃,...,e_M}；在左Sobel边缘图像Sobel_left中，每一个有效点为e＝(u,v,d)^T，u为横坐标像素值，v为纵坐标像素值，d为视差值；(12)以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d＝a_iu+b_iv+c_i，其中a_i，b_i，c_i为第i个视差平面的系数；(13)在这些视差平面的基础上，将未匹配的像素点(u',v',d')^T转换为匹配的有效点(u,v,d)^T；具体为：该像素点(u',v',d')^T到第i视差平面的距离为设能量函数为其中ε，σ为常数；对该像素点，遍历视差搜索范围所有的视差值d'＝{d'_min,...,d'_max}，求出使得能量函数Energy(d')最小的视差值，当成该像素点的视差值d；另外，u＝u'，v＝v'；(14)遍历所有未匹配的像素点，获取每个未匹配的像素点的视差值，得到以左红外相机为基准的视差图像Disparity_left；(15)根据两个红外相机的焦距f_IR和基线距离B_IR‑IR，遍历视差图像中的每一点(u,v,d)，其深度值为因此深度图像Depth_left中每一点对应为(u,v,depth)，从而获得左红外相机为基准的深度图像Depth_left；(16)根据深度图像Depth_left，两个红外相机的焦距f_IR和左红外相机的主点位置(c_IR‑x,c_IR‑y)，可计算出每一点在相机坐标系下的三维坐标(X,Y,Z)；深度图像Depth_left中一点坐标为(u,v)，其深度值为depth，则三维坐标(X,Y,Z)可由公式(1)计算出：Z＝depth(17)根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z)，以及姿态角传感器三轴方向的转角分别为Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，则可由公式(2)计算出每一点在世界坐标系下的坐标(X_w,Y_w,Z_w)：(18)对于深度图像中所有的三维点，随机选取3个点，这3个点可以形成一个平面，平面方程为AX_w+BY_w+CZ_w+D＝0；如果n_th为阈值，说明该平面和水平面夹角较小，可作为地面的候选，否则跳出进行下一次随机取点；对可作为地面候选的平面，计算出每一点(X_i,Y_i,Z_i)到该平面的距离如果DPS_i<T，T为阈值，则内点Inliers增加1，所述内点为满足DPS_i<T的点；随机取点20～30次，并重复上述处理，取20～30次结果中内点Inliers最多的平面作为初始地面检测结果OriginalTraversableArea；(19)利用深度图像Depth_left和彩色图像Color，两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR‑x,c_IR‑y)，彩色相机的焦距f_color，彩色相机的主点位置(c_COLOR‑x,c_COLOR‑y)，以及左红外相机和彩色相机的基线距离B_IR‑COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depth_color；(20)对彩色图像进行颜色空间变换，获取在HSV颜色空间中的彩色图HSV；对彩色图像提取Canny边缘，获取彩色图像的边缘图像Canny；(21)初始地面检测的地面结果中的像素点，其中四邻域不全是地面的像素点设为种子点；将种子点都压入种子点堆栈；(22)设定种子点可向四邻域生长的条件：①这个种子点没有遍历过；②这个种子点不属于边缘图像Canny的有效点；(23)从种子点堆栈中取出一个种子点，如果该种子点满足可向四邻域生长的条件，进行以下处理；对种子点G，该点的色调值为h，它的其中一个四邻域像素点G_i，该点的色调值为h_i，如G_i不属于边缘图像Canny的有效点，G_i没有被遍历过，且|h‑h_i|<δ，其中δ是阈值，则G_i也视为可通行的地面，压入种子点堆栈；当遍历堆栈中所有种子点后，种子区域生长结束；初始地面检测结果OriginalTraversableArea经过种子区域生长，被扩展到了距离更长，范围更广的扩展地面检测结果ExpandedTraversableArea；将扩展地面检测结果ExpandedTraversableArea分为K个方向，根据ExpandedTraversableArea中每个点的世界坐标系下的三维坐标，得到K个方向上地面的长度和K个方向上地面的宽度；(24)用不同音色的人的合唱来表示扩展地面检测结果；不同方向的地面用不同音色的人声表示，不同方向地面的长度Length与声音的响度Volume成正比，不同方向地面的宽度Width与声音的频率Pitch成正比；每个方向的人声都为立体声；(25)将深度图像Depth_color的地面区域的像素点的深度置为0，获得除去地面区域的无地面深度图像DepthWithoutGround，以表示障碍物信息；将无地面深度图像DepthWithoutGround分为J个方向，用不同音色的乐器的合奏来表示无地面深度图像DepthWithoutGround；不同方向的图像用不同音色的乐器表示，不同方向的平均深度Depth与这个方向乐器声音的响度Volume成反比；平均深度Depth为零则不发声；每个方向的乐器声都为立体声；(26)小型处理器将非语义的声音编码信号通过无线传给骨传导耳机模块；(27)骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号；(28)骨传导震动模块将骨传导震动信号传递给盲人用户。