[发明专利]一种应用于室内墙面施工机器人的视觉砂浆识别系统

权利要求书

1.应用于室内墙面施工机器人的视觉砂浆识别系统，其特征在于，包括：

至少两台工控机，其中一台工控机连接摄像头，定义为算法机，另一台工控机用于控制室内墙面施工机器人运动和工作流程控制的，定义为控制机；算法机与控制机之间通过通信设备进行通信连接，算法机将摄像头采集的视频流实时传输到控制机上显示；

算法机包括：视频采集模块、连接接错误处理模块，视频流传输模块和视觉算法模块；

其中，视频采集模块、连接错误处理模块与视频流传输模块均采用多线程架构实现；

所述视频采集模块的图像内存拷贝与图像解码功能分布在不同的线程中，图像内存拷贝由mmap()系统调用实现，图像解码功能采用需求匹配的解码方式，且与图像内存拷贝差速匹配，连接错误处理模块实现对视频采集模块的守护线程；当视频采集模块中由于硬件终端错误中断时，触发连接错误处理模块的监视信号量，连接错误处理模块请求视频采集模块中的线程退出，再重新配置摄像头后，重启视频采集模块；

视频流传输模块由一个请求监听线程和多个服务线程组成，请求监听线程把视频流请求任务派发给服务线程后立刻返回，等待监听下一个客户端的请求；服务线程把视频采集模块处理过的图像，经由TCP或UDP协议发送到请求端；采用双缓冲区与读写指针原子交换的方式实现视频流传输模块与视频采集模块之间的读写互斥；

算法机的视觉识别算法模块接收到视频流后，根据颜色以及位置信息计算视觉显著值，进行砂浆部位的分割，若像素点的显著值大于预设阈值，则认为其属于砂浆区域，从而分割出对应的砂浆区域，并发送给控制机，具体为：

(1)将每一帧输入图像的色彩空间从RGB色域转到Lab色域，分离灰度表达与色度信息；

(2)对于Lab色域图像中的每一个像素点P，取其灰度与色度信息L、a、b与位置信息x、y，组成五元数，记为P(L,a,b,x,y)；给定分割阈值O，以及颜色位置归一化系数R，使用聚类算法迭代得到超像素图像SP；

(3)分别计算每一个超像素点五元数SP(L,a,b,x,y)的颜色独立性U与分布性D，将超像素点的颜色独立性U与分布性D归一化得到其显著性值S：

对于每一个超像素点SP，计算该点的灰度与色度信息(L、a、b)与其他超像素点的欧氏距离Wc，计算该点的位置信息(x、y)与其他超像素点的欧式距离Wl，基于位置信息调和函数Fu和位置信息归一化参数Ru，得到该点的颜色独立性U＝Wc+Wl*Fu*Ru；

以及基于设置的颜色信息调和函数Fd和颜色信息归一化参数Rd，得到该点的颜色分布性D＝Wc*Fd*Rd+Wl；

基于选取的归一化函数H，得到显著性值S＝H(U,D)；

其中，位置信息调和函数Fu，颜色信息调和函数Fd，位置信息归一化参数Ru，颜色信息归一化参数Rd的优化方式为：

由机器人工作目的，人工划定两个区域A、B分别代表显著区域和非显著区域；

根据显著性值S＝H(U,D)，计算区域A、B的显著性值，分别记为SA与SB；

在A区域显著值趋向于1，B区域显著值趋向于0的前提条件下，基于设置的损失函数C并计算损失函数对Fu、Ru、Fd和Rd的偏导数，得到偏导数矩阵X；使用梯度下降算法，反向传播误差至Fu、Ru、Fd以及Rd，优化各参数使得损失函数C最小化；反复执行，直到A区域的显著值与B区域的显著值稳定在给定阈值范围。