[发明专利]一种多模态触觉数据联合感知方法及相关设备

说明书

本发明公开了一种多模态触觉数据联合感知方法及相关设备，所述方法包括：获取触觉阵列数据集和触觉彩色图像数据集，并按预设比例划分为训练集、验证集和测试集；搭建针对触觉阵列数据集的卷积循环自编码器网络和针对触觉彩色图像数据集的双向循环自编码器网络，通过联合损失将两个网络联合搭建得到肿瘤深度识别模型；使用训练接和验证集对肿瘤深度识别模型进行训练，使用测试集验证训练后的肿瘤深度识别模型的有效性，所述有效性的评价指标为肿瘤深度分类准确率。本发明旨在挖掘利用特征差异大的多模态触觉数据集潜在相关信息，改进传统分类任务存在的难以有效利用特征差异大的触觉数据问题。

技术领域

本发明涉及机器人触觉技术领域，尤其涉及一种多模态触觉数据联合感知方法、系统、终端及计算机可读存储介质。

背景技术

机器人技术在医疗行业发挥着重要作用，例如机器人辅助微创手术。虽然它拥有许多优点，但是由于外科医生是在主控制台上进行远程操作，只能间接接触患者的软组织，仅使用来自电子屏幕的视觉反馈进行手术，缺失了手术过程的触觉反馈，例如缺少了触碰人体组织的触感，而这种触觉反馈缺失在一定程度上限制了医生对病灶诸如肿瘤之类的感知识别。

如何感知识别肿瘤是机器人医疗领域的一个常见问题，同时在机器人触觉领域长久以来也存在着一个问题，那就是传感器种类繁多，包括有压电传感器、压阻传感器、电容传感器和基于光学原理传感器等一系列传感器，不同触觉传感器采集数据集特征差异大，难以相互联合、相互利用和相互促进。因此，如何有效地挖掘利用不同模态触觉数据提升肿瘤深度的识别准确率成为机器人触觉领域存在的一个问题。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种多模态触觉数据联合感知方法、系统、终端及计算机可读存储介质，旨在解决现有技术中传统分类任务存在的难以有效利用特征差异大的触觉数据问题。

为实现上述目的，本发明提供一种多模态触觉数据联合感知方法，所述多模态触觉数据联合感知方法包括如下步骤：

获取触觉阵列数据集和触觉彩色图像数据集，所述触觉阵列数据集基于电容传感器采集并经过预处理后得到，所述触觉彩色图像数据集基于Digit传感器采集并经过预处理后得到，并将所述触觉阵列数据集和所述触觉彩色图像数据集按预设比例划分为训练集、验证集和测试集；

搭建针对所述触觉阵列数据集的卷积循环自编码器网络和针对所述触觉彩色图像数据集的双向循环自编码器网络，通过联合损失将所述卷积循环自编码器网络和所述双向循环自编码器网络联合搭建得到肿瘤深度识别模型；

使用所述训练接和所述验证集对所述肿瘤深度识别模型进行训练，使用所述测试集验证训练后的所述肿瘤深度识别模型的有效性，所述有效性的评价指标为肿瘤深度分类准确率。

可选地，所述的多模态触觉数据联合感知方法，其中，所述电容传感器采集触觉阵列数据包括：

在触摸前，将BarrettHand机械臂置于距离软组织模具表面2.5cm的高度，所述BarrettHand机械臂包括3根手指，每根手指上均设置有电容传感器；

控制所述BarrettHand机械臂以0.028米/秒的速度向下按压软组织模具表面；

在按压过程中，所述BarrettHand机械臂的手指上设置的所述电容传感器表面始终与软组织表面平行，所述电容传感器获取原始触觉阵列数据和力矩数据；

每个软组织样本被按压60次，且每次按压后使用旋转台将软组织样本旋转7.5度，得到720份原始触觉阵列数据和力矩数据。

可选地，所述的多模态触觉数据联合感知方法，其中，所述电容传感器采集触觉阵列数据进行预处理包括：