[发明专利]一种基于神经网络和触觉点阵的视觉补偿方法

权利要求书

1.一种基于神经网络和触觉点阵的视觉补偿方法，其特征在于：

S1，将摄像头传感器采集到的视觉图像进行预处理，通过特定算法进行压缩和转换，使用神经网络优化图像边缘轮廓提取的结果，生成触觉表达图像；具体为：

将摄像头传感器采集到的图像进行预处理包括归一化、图像降噪、图像灰度化、图像增强的处理；

摄像头传感器采集到的图像经过预处理之后，使用基于改进的Pix2Pix算法进行图像风格转换，进行图像分割、边缘检测和提取，转换为更适用于皮肤触觉感受器能够高效感知的触觉图像风格；最后再进行图像压缩和图像编码，作为触觉表达图像传输到S3中的触觉点阵装置产生相应的压力刺激；

其中，改进的Pix2Pix神经网络，在训练数据上，使用现有制作的触觉图像作为训练数据，对于制作的图像数据量不足的问题，利用图像增强技术扩充这些数据，以及使用传统的边缘提取方法扩充数据；在网络结构上，由生成器网络G和判别器D组成，生成器网络G是一个U型网络，该网络以真实照片图片为输入尽可能生成和触觉图像一样的图片，它包含了12个卷积层，4个池化层，4个反卷积层；每个卷积层都使用了same padding进行补齐，卷积后的激活函数使用的是Relu，池化层使用的是2*2的最大值池化，反卷积时的步长为2；判别器D使用的是马尔可夫性的判别器，使用传统的L1损失来让生成的图片跟训练的图片尽量相似，用对抗神经网络部分来构建高频部分的细节；其最终使用的损失函数为：

其中G为生成器函数，算法训练时要最小化生成的图像和制作的视觉图像间的差别；D为判别器函数，判断输入图像的每个像素是否是生成的；L_cGAN(G,D)为log尺度下对于每个像素点输入图像与训练图像的判别函数输出概率的期望值加上log尺度下对于每个像素点输入图像与生成图像的判别函数输出概率到1的距离的期望值；λ为调节系数，L_L1(G)为生成图像和训练图像的L1损失；

S2，将步骤S1预处理后的视觉图像数据也送入神经网络进行物体检测与识别，得到目标物体的位置信息和识别标签信息；对标签信息，再利用词向量进行分类，压缩转换并编码为电刺激信号，融合生成触觉提示图像；具体为：

将摄像头传感器采集到的S1的图像数据经过预处理之后，送入神经网络进行处理，使用改进的YOLO神经网络，对图像进行物体检测与识别，获得物体的bounding box位置和标签信息，进而得到物体的形状位置大小和标签的关联信息；

对于识别得到的不同物体的不同标签，使用词向量对标签进行特征表达，将文本标签转化为向量形式；然后使用主成分分析的方法对改向量进行压缩，进一步提取该向量的特征降低其维度后作为新的特征向量；再通过加权算法建立起新的特征向量与电刺激波形的对应关系，最后在进行图像压缩后作为触觉提示图像传输到S3中的触觉点阵装置，在相应位置产生相应的波形的电刺激；

S3，根据S1的触觉表达图像和S2的触觉提示图像，采用触觉点阵装置产生相应的压力刺激和电刺激，作用于皮肤感受器，训练大脑构造出触觉图像，对视觉进行补偿。