[发明专利]基于视觉的触觉测量方法、装置、设备及存储介质

说明书

本申请涉及一种基于视觉的触觉测量方法、装置、设备及存储介质，属于人机交互领域。该方法包括：获取所述图像传感组件对传感面采集的图像序列，所述图像序列的图像中包括标记图案；根据所述图像序列中的相邻图像内的所述标记图案，计算所述标记图案的差异特征；调用前馈神经网络对所述标记图案的差异特征进行处理，得到触觉测量结果。该方法利用图像阵列中连续两幅图像上的标记点的位移作为特征值，得到接触点的位置、接触力的大小和/或方向，接触表面的曲率半径等信息，相比于相关技术中所采用的卷积神经网络模型(CNN)，该方法将输入的特征值进行简化，同时，训练样本大幅度减少，提高了神经网络的训练效率，简化了前馈神经网络。

技术领域

本申请涉及人机交互领域，特别涉及一种基于视觉的触觉测量方法、装置、设备及存储介质。

背景技术

触觉传感器是用于模仿触觉功能的传感器，可以对接触物体进行触觉测量，比如接触位置、接触力等。目前，触觉传感器多应用于机器人领域。

相关技术中提供了一种触觉传感器，该触觉传感器设置有半圆形的柔性传感面，该柔性传感面的内表面设置有阵列排布的多个标记点，以及朝向内表面设置的图像传感组件。在柔性传感面的外表面与物体接触后，柔性传感面会发生形变，导致内表面的多个标记点因形变而改变位置。图像传感组件采集柔性传感面的内表面图像，将内表面图像传输至芯片。芯片内设置有卷积神经网络(CNN)，通过卷积神经网络对内表面图像进行处理，得到接触力的分析结果。

上述卷积神经网络的训练过程较为复杂，需要多达两万个训练样本才能取得较好的训练效果。

发明内容

本申请提供了一种基于视觉的触觉测量方法、装置、设备及存储介质，以解决相关技术中的以上技术问题以及其他潜在技术问题中的至少一个技术问题。

根据本申请的一个方面，提供了一种基于视觉的触觉测量方法，所述方法应用于芯片中，所述芯片与触觉传感器相连，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案；

所述方法包括：获取所述图像传感组件对所述传感面采集的图像序列，所述图像序列的图像中包括所述标记图案；根据所述图像序列中的相邻图像内的所述标记图案，计算所述标记图案的差异特征；调用前馈神经网络对所述标记图案的差异特征进行处理，得到触觉测量结果；其中，所述前馈神经网络内的隐藏层数量小于阈值。

根据本申请的另一方面，提供了一种前馈神经网络的训练方法，所述前馈神经网络中的隐藏层数量少于阈值，所述方法包括：

获取训练样本，所述训练样本包括样本图像序列和样本触觉结果，所述样本图像序列是触觉传感器内的图像传感组件采集的图像序列，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案，所述图像序列的图像中包括所述标记图案；根据所述样本图像序列中的相邻图像内的所述标记图案的位置，计算所述标记图案的样本差异特征；调用所述前馈神经网络对所述标记图案的样本差异特征进行处理，得到预测触觉结果；对所述预测触觉结果和所述样本触觉结果进行误差计算，得到误差损失；通过误差反向传播算法根据所述误差损失对所述前馈神经网络进行训练，得到训练后的前馈神经网络。

根据本申请的另一方面，提供了一种基于视觉的触觉测量装置，所述装置应用于芯片中，所述芯片与触觉传感器相连，所述触觉传感器包括传感面和图像传感组件，所述传感面设置有标记图案；

所述装置包括：第一获取模块，用于获取所述图像传感组件对所述传感面采集的图像序列，所述图像序列的图像中包括所述标记图案；第一计算模块，用于根据所述图像序列中的相邻图像内的所述标记图案，计算所述标记图案的差异特征；前馈神经网络，用于对所述标记图案的差异特征进行处理，得到触觉测量结果；其中，所述前馈神经网络内的隐藏层数量小于阈值。

在一个可选的实施例中，所述前馈神经网络内设置有所述隐藏层和输出层；

所述隐藏层，用于对所述标记图案的差异特征进行特征提取，得到特征表示；