[发明专利]一种基于触觉纹理特征的跨模态物体材质检索方法

摘要

本发明公开了一种基于触觉纹理特征的纹理图像跨模态检索方法，属于机器人触觉识别技术领域。本发明方法依次包括触觉纹理训练样本材质选取、触觉纹理训练数据集和纹理图像训练数据集的建立、触觉加速度的特征提取和纹理图像的特征提取、对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取、纹理图像检索库的创建以及物体材质检索。本发明利用采集纹理表面的摩擦振动信号作为纹理表面的触觉特征从纹理图像检索库中检索出与被检索表面最相似的纹理表面图像，即实现基于触觉特征的跨模态物体材质检索。本发明具有较高的准确率，而且弥补了文字描述材质的单一性。

主权项

1.一种基于触觉纹理特征的跨模态物体材质检索方法，其特征在于，包括以下步骤：1)触觉纹理训练样本材质选取：根据触觉特性将训练样本材质分为A大类；在A大类材质类型中分别选取B种典型材质的纹理表面，共计M＝A×B种材质表面；对每一种材质进行编号，记为该材质的标签LI，1≤LI≤M，1≤I≤M；2)训练样本数据集的建立，包括触觉纹理训练数据集和纹理图像训练数据集的建立：2‑1)触觉纹理训练数据集的建立：以设定的接触力在由步骤1‑1)选取的M种材质表面进行滑动，每种材质进行N次，采集摩擦振动信号，并均以三轴加速度数据形式输出，建立维度为p＝M×N的训练样本三轴加速度数据集作为触觉纹理训练数据集，其中，第i个训练样本的三轴加速度数据为a_xⁱ,a_yⁱ,a_zⁱ分别为第i个训练样本的加速度传感器在x、y、z轴上采集的数据，为时域数据；2‑2)纹理图像训练数据集的建立：对由步骤1)选取的M种材质表面随机拍摄N张图片，建立维度为p＝M×N的纹理图像训练数据集同时，对各种材质的图片进行编号作为各图片的标签，该标签与步骤1)中相应材质的标签一一对应；3)对步骤2)中建立的训练样本数据集预处理后进行特征提取，分为触觉纹理训练数据集和纹理图像训练数据集两部分：3‑1)触觉纹理训练数据集，包括以下步骤：3‑1‑1)加速度数据预处理：分别对步骤2‑1)中采集的各训练样本的三轴加速度数据进行合成，并以此得到所有训练样本的一维加速度时域数据集aⁱ为合成后的加速度数据；3‑1‑2)触觉加速度的特征提取得到触觉纹理特征向量集U，具体包括：3‑1‑2‑1)利用离散小波变换(DWT)依次对步骤3‑1‑1)得到的一维加速度时域数据集中的aⁱ进行β级分解，每级由1个近似系数时域分量和1个细节系数时域分量构成，则每个训练样本共有2β不同尺度和频带的时域分量，分别为近似系数时域分量和细节系数时域分量其中，且为整数，l(aⁱ)为aⁱ的数据长度；3‑1‑2‑2)将步骤3‑1‑2‑1)得到的近似系数时域分量和细节系数时域分量利用快速傅里叶变换(FFT)进行频域变换，得到对应的频域分量，分别为近似系数频域分量和细节系数频域分量3‑1‑2‑3)对一维加速度时域数据集分别均提取各训练样本一维加速度时域数据aⁱ的时域分量和频域分量和的平均值μ、标准差σ和能量E，作为相应训练样本的触觉纹理特征向量并以此得到所有训练样本的触觉纹理特征向量集，记为m为提取的各训练样本aⁱ的触觉纹理特征向量的维度，m＝2β×5；3‑2)纹理图像训练数据集，包括以下步骤：3‑2‑1)纹理图像预处理：采用卷积神经网络进行纹理图像特征提取前，先将步骤2‑2)中采集的所有纹理图像的大小统一为所采用卷积神经网络输入图像的大小；3‑2‑2)纹理图像的特征提取得到纹理图像特征向量集V：通过迁移学习方法利用卷积神经网络中的网络模型提取t维图像特征，即每张图像由t个数据点来表示，并以此得到p＝M×N张纹理图像训练样本的纹理图像的特征向量集，记为4)对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取：利用相关分析算法对步骤3‑1)得到的触觉纹理特征向量集U和步骤3‑2)得到的触觉纹理特征向量集V进行“触觉加速度—纹理图像”样本对的训练，分别通过映射矩阵Wu和Wv，将触觉纹理特征和纹理图像特征从各自的特征空间映射到一个共同的空间，使映射后的触觉纹理特征向量集U和触觉纹理特征向量集V的相关性最大，分别记U*＝UWU为触觉纹理检索特征向量集、V*＝VWV为触觉纹理检索特征向量集；5)纹理图像检索库的创建：5‑1)采集物体表面的触觉纹理图像：采集由步骤1)选取的M种材质在正常光照下的纹理表面的正面图片各一张，建立维度p′＝M的纹理图像检索库该检索库中各图片的标签与步骤1)中相应材质的标签一一对应；5‑2)按照步骤3‑2)对纹理图像检索库J中的各个图片进行预处理和纹理图像特征提取，并以此得到纹理图像检索库的纹理图像特征向量集，记为通过步骤4)求取的映射矩阵W_v将纹理图像检索库J的纹理图像特征向量集Q转换为纹理图像检索特征向量集Q*＝QW_V，Q*中各纹理图像检索特征向量的标签与步骤1)中相应材质标签一一对应，将Q^*及其标签都存储在纹理图像检索库中；6)物体材质检索，包括以下步骤：6‑1)物体触觉纹理检索特征的提取，具体包括：6‑1‑1)按照步骤2‑1)，以一定接触力在待检索物体表面进行滑动，采集待检索物体表面的摩擦振动，并均以三轴加速度信号形式输出；6‑1‑2)按照步骤3‑1)得到待检索物体的m维触觉纹理特征向量，记为T；6‑1‑3)根据步骤4)确定的映射矩阵Wu将待检索物体的触觉纹理特征向量T转换为触觉纹理检索特征向量T*＝TWU；6‑2)根据触觉纹理特征的相似性进行跨模态物体材质检索，具体包括：6‑2‑1)基于触觉纹理特征的相似性计算：运用KNN分类辨识算法，以步骤6‑1‑3)提取的待检索物体的触觉纹理检索特征向量T*和步骤5‑2)提取的纹理图像检索库J中纹理图像检索特征向量集Q*为输入量，计算待检索物体特征向量T*和纹理图像的检索特征向量集Q*中各个检索特征向量之间的相似性，并对该相似性进行升序排列；6‑2‑2)基于触觉纹理特征的跨模态物体材质检索：根据步骤6‑2‑1)确定的相似性排序结果从纹理图像检索库J中检索出与纹理图像检索特征向量相对应的纹理图片标签，输出相应的纹理表面图片，完成跨模态物体材质检索。