[发明专利]一种用于远程操纵的虚拟超声探头跟踪方法

权利要求书

1.一种用于远程操纵的虚拟超声探头运动跟踪方法，其特征在于，

用于远程操纵的扫描装置包括超声扫描装置以及与其连接的实际超声扫描探头、六轴机械臂、深度摄像仪、医生手持的虚拟超声探头以及计算机；所述六轴机械臂用于控制实际超声扫描探头进行移动，所示计算机用于实时获得法向量运动的位置和方向；所述方法包括以下步骤：

S1、在远程端，使用基于深度摄像仪的核相关滤波算法分别追踪医师操纵虚拟超声探头时与探头冠状面共面的三角形三个标记点的位置变化，结合深度摄像仪实时采集探头与深度摄像仪水平距离的深度信息，通过矢量积与矢量叉乘获得虚拟超声探头冠状面法向量方位信息；

在图像跟踪的过程中，需要保证虚拟超声探头始终在深度摄像仪的拍摄范围内；

在图像跟踪过程的初始化时，需要令虚拟超声探头冠状面的法向量与实际超声扫描探头冠状面的法向量平行，并与深度摄像仪的成像平面垂直，使得朝深度摄像仪的位移量由深度摄像仪的深度信息直接反映，此初始化方式较符合超声探头的操作习惯；

所述法向量方位信息为虚拟超声探头冠状面法向量在探头进行平移和旋转运动时的空间位置和方向；在通过计算三个标记点的重心与向量叉乘来实时获得虚拟超声探头冠状面法向量的空间位置与方向时，应对相邻K帧做平均处理后再进行记录，用于避免一次性测量产生的误差而令机械臂运动到错误的位置，K的缺省值为5；

S2、根据实时记录的法向量方位信息形成序列数据；

序列数据的每个元素格式为法向量的空间位置和方向，因此一个运动模式对应的序列数据为，其中表示三个标记点重心的坐标值，表示步骤S1中求解的法向量的方向向量坐标，表示采集的帧数；在产生序列数据后，标记该序列数据为沿x轴正反方向平移、沿y轴正反方向平移、沿z轴正反方向平移、绕x轴顺逆时针方向旋转、绕y轴顺逆时针方向旋转、绕z轴顺逆时针方向旋转共12种运动模式中的其中一种；

S3、使用序列数据训练具有记忆功能的神经网络模型，神经网络模型用于学习序列数据的前后时序蕴含的方位信息与运动模式之间的映射关系，当远程探头运动时采集到的序列数据输入到训练好的神经网络模型，神经网络模型将输出一个对应的运动模式；

使用的深度学习模型为RNN，神经网络模型输入数据对应的格式为,其中表示的是三个标记点的重心坐标，表示冠状面法向量的方向，表示采集的帧数；

提取部分标记好的序列数据作为训练集；在训练时将训练集输入到神经网络模型中，以交叉熵损失函数衡量神经网络模型输出值与真实标注的差值，并迭代优化神经网络模型的参数，使得输出值与真实标注差异最小化；

S4、计算机收到运动模式后，命令六轴机械臂控制超声扫描探头的法向量按对应的运动模式进行跟踪运动，实现超声扫描的远程操纵。