[发明专利]一种多模态触觉数据联合感知方法及相关设备

权利要求书

1.一种多模态触觉数据联合感知方法，其特征在于，所述多模态触觉数据联合感知方法包括：

获取触觉阵列数据集和触觉彩色图像数据集，所述触觉阵列数据集基于电容传感器采集并经过预处理后得到，所述触觉彩色图像数据集基于Digit传感器采集并经过预处理后得到，并将所述触觉阵列数据集和所述触觉彩色图像数据集按预设比例划分为训练集、验证集和测试集；

搭建针对所述触觉阵列数据集的卷积循环自编码器网络和针对所述触觉彩色图像数据集的双向循环自编码器网络，通过联合损失将所述卷积循环自编码器网络和所述双向循环自编码器网络联合搭建得到肿瘤深度识别模型；

使用所述训练接和所述验证集对所述肿瘤深度识别模型进行训练，使用所述测试集验证训练后的所述肿瘤深度识别模型的有效性，所述有效性的评价指标为肿瘤深度分类准确率。

2.根据权利要求1所述的多模态触觉数据联合感知方法，其特征在于，所述电容传感器采集触觉阵列数据包括：

在触摸前，将BarrettHand机械臂置于距离软组织模具表面2.5cm的高度，所述BarrettHand机械臂包括3根手指，每根手指上均设置有电容传感器；

控制所述BarrettHand机械臂以0.028米/秒的速度向下按压软组织模具表面；

在按压过程中，所述BarrettHand机械臂的手指上设置的所述电容传感器表面始终与软组织表面平行，所述电容传感器获取原始触觉阵列数据和力矩数据；

每个软组织样本被按压60次，且每次按压后使用旋转台将软组织样本旋转7.5度，得到720份原始触觉阵列数据和力矩数据。

3.根据权利要求2所述的多模态触觉数据联合感知方法，其特征在于，所述电容传感器采集触觉阵列数据进行预处理包括：

对于每一份原始触觉阵列数据和力矩数据，所述力矩数据仅用于获取所述BarrettHand机械臂刚接触到软组织模具型表面的时间点，选取该时间点为起始点，截取一段固定长度为72个时间点的触觉阵列数据；

对截取的触觉阵列数据进行下采样操作，取起始点为第一个采样点，下采样步长设为6，得到12个时间点长度的触觉阵列数据；

对下采样后的数据重塑，将每一个时间点的触觉阵列数据变成8×9图片大小，通道数为1，到处理完成的触觉阵列数据集。

4.根据权利要求1所述的多模态触觉数据联合感知方法，其特征在于，所述Digit传感器采集触觉彩色图像数据包括：

在每次按压前，将UR5机械臂置于距离软组织模具表面2.5cm高度，所述UR5机械臂上设置有Digit传感器；

控制所述UR5机械臂以0.03米/秒的速度向下按压软组织模具表面，在按压软组织模具至0.5cm深度位置停止；

在按压过程中，所述Digit传感器表面始终按压在肿瘤位置，获取原始触觉彩色图像数据，所述UR5机械臂的采样频率设为30fps，图像分辨率为320×240；

每个软组织样本被按压80次，每次按压后使用旋转台将软组织样本旋转7.5度，得到960份原始触觉彩色图像数据。

5.根据权利要求4所述的多模态触觉数据联合感知方法，其特征在于，所述Digit传感器采集触觉彩色图像数据进行预处理包括：

将每一份原始触觉彩色图像数据视为一次按压过程的视频，确定每一份原始触觉彩色图像数据中所述Digit传感器刚刚接触到软组织模具的起始帧，再选取固定长度的10帧作为每一份处理完成的触觉彩色图像数据；

根据彩色图像中像素值的变化判断是否接触到软组织，先选取非接触的50张彩色图像，按照通道方向取平均和取标准差，得到平均矩阵和标准差矩阵；

对于每一份原始触觉彩色图像数据中的当前图片，将当前图片先按通道方向取平均，再减去平均矩阵，与4倍标准差矩阵进行比较，若超过6％的像素点大于当前图片在标准差矩阵中对应的4倍标准差，则说明当前图片是接触软组织模具的，再根据时间序列推算出刚刚接触到软组织模具的起始帧，最后将截取图像进行线性函数归一化处理得到触觉彩色图像数据集。