[发明专利]一种基于触觉纹理特征的跨模态物体材质检索方法

说明书

本发明公开了一种基于触觉纹理特征的纹理图像跨模态检索方法，属于机器人触觉识别技术领域。本发明方法依次包括触觉纹理训练样本材质选取、触觉纹理训练数据集和纹理图像训练数据集的建立、触觉加速度的特征提取和纹理图像的特征提取、对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取、纹理图像检索库的创建以及物体材质检索。本发明利用采集纹理表面的摩擦振动信号作为纹理表面的触觉特征从纹理图像检索库中检索出与被检索表面最相似的纹理表面图像，即实现基于触觉特征的跨模态物体材质检索。本发明具有较高的准确率，而且弥补了文字描述材质的单一性。

技术领域

本发明属于机器人触觉识别技术领域，特别涉及一种基于触觉纹理特征的跨模态物体材质检索方法。

背景技术

随着智能制造和全球工业化的发展，物体材质识别在电子商务、皮革纺织和智能机器人等很多工业领域均有广泛应用。目前的材质识别通常基于物体表面的纹理图像，识别图像中物体的所属材质(如木质、玻璃、塑料、钢铁和纤维等)。但是，基于纹理图像的材质识别容易受到拍摄环境的影响，而且大的类内表观差异和小的类间表观差异通常会导致纹理特征的可区分力减弱、鲁棒性降低。除此之外，纹理图像无法准确反应与材质相关的物体属性。如，基于纹理图像，无法区分相同纹理的贴图和实物。

触觉纹理信息源于物体与手指相互接触过程中产生的摩擦振动信号，即触觉纹理信号，它携带了关于物体表面性质的信息，具有纹理图像不具有的触觉信息。已有学者通过实验证明，利用人工手指或智能手指，测量并分析物体与手指相互作用过程中的摩擦振动信号，便可将表面性质差异较大的物体分辨开来。此类研究也证明了，相对于其他方式而言，基于物体表面的触觉纹理信息能够更有效区分不同物体表面的特性，且可作为判断物体材质的重要依据。但是目前基于触觉纹理材质识别方法的准确率都较低，且都处于理论研究阶段。

图像含有较文本更为直观的信息，在人们日常生活中发挥着重要的作用，图像检索技术已成为一个非常活跃的研究领域。基于内容的图像检索是一种基于特征相似性匹配而进行的图像检索方法，它既能自动识别或者理解特征，又能基于特征相似匹配进行纹理图像的检索，可有效提高系统人性化和人机交互能力。在纹理相似性评价或基于纹理特征的图像检索这类人机交互应用中，寻找一种基于触觉特征的图像检索具有十分重要的意义。但是，目前还尚未存在基于触觉特征的跨模态图像检索方法。

发明内容

本发明的目的是为了克服已有技术的不足之处，提出一种基于触觉纹理特征的跨模态物体材质检索方法。本发明利用与被测物体表面相互接触过程中产生的摩擦振动信号判断物体的材质，同时还可以从创建的纹理图像检索库中检索出与待检索物体表面触觉特征最相似的多种典型的纹理表面图像，通过该图像可以更加直观了解被测物体的材质属性。

为了实现上述目的，本发明采用如下技术方案：

一种基于触觉纹理特征的跨模态物体材质检索方法，包括以下步骤：

1)触觉纹理训练样本材质选取：根据触觉特性将训练样本材质分为A大类；在A大类材质类型中分别选取B种典型材质的纹理表面，共计M＝A×B种材质表面；对每一种材质进行编号，记为该材质的标签L^I，1≤L^I≤M，1≤I≤M；

2)训练样本数据集的建立，包括触觉纹理训练数据集和纹理图像训练数据集的建立：

2-1)触觉纹理训练数据集的建立：以设定的接触力在由步骤1-1)选取的M种材质表面进行滑动，每种材质进行N次，采集摩擦振动信号，并均以三轴加速度数据形式输出，建立维度为p＝M×N的训练样本三轴加速度数据集作为触觉纹理训练数据集，其中，第i个训练样本的三轴加速度数据为分别为第i个训练样本的加速度传感器在x、y、z轴上采集的数据，为时域数据；