[发明专利]一种基于意图理解模型的导航式虚拟显微镜

权利要求书

1.一种基于意图理解模型的导航式虚拟显微镜，其特征在于，包括多模态输入与感知模块、多模态信息整合模块和交互应用模块；

所述多模态输入与感知模块用于通过传声器获得用户的语音信息，以及获得用户的操作行为；所述操作行为包括通过转动传感器获得用户调节显微镜粗细准焦螺旋的方向和通过图像采集设备识别待观察样本以及检测待观察样本运动的图像信息；

所述多模态信息整合模块用于将语音信息通过视觉通道信息处理和将操作行为通过触觉通道信息处理，然后将处理后的语音信息和操作行为通过多通道信息整合，完成显微镜和用户之间的交互；所述多通道信息整合包括双通道信息整合和三通道信息整合；

所述双通道信息整合用于调整粗准焦螺旋或者细准焦螺旋中的任意一个，移动样本并观察样本的数据整合；多通道整合函数为Muf()，未调节前的图像为P，移动变换函数为PM()，转动变换函数为PV()，因此，多通道整合函数可以表示为：

Muf(P)＝ɑPM(P)+(1-ɑ)PV(P)；

所述ɑ为选择参数，所述ɑ＝0，1，转动传感器转动，当完成一次调节后，P″′＝Muf(P)；P″′作为当前观察图像可继续被调节；

所述三通道信息整合用于在整合策略中输入图像信息、操作行为和语音信息，在当前状态条件下,系统根据不同的用户行为进入不同的系统状态；

所述交互应用模块通过视觉显示和听觉指引完成对用户意图进行预测以及给出操作引导。

2.根据权利要求1所述的一种基于意图理解模型的导航式虚拟显微镜，其特征在于，所述通过图像采集设备识别待观察样本的方法为，载玻片的上表面设置有表示所述待观察样本的二维码图片，图像采集设备识别不同的二维码，进而从数据库中调取样本图像。

3.根据权利要求1所述的一种基于意图理解模型的导航式虚拟显微镜，其特征在于，所述视觉通道信息处理的方法为：识别样本的原始RGB图像，其中D为样本图像合集；观察样本的变化，当前观察到的样本的图像为P，其中移动变换函数为PW()，新生成的图像为P’,则位移变换过程公式为P’(X,Y)＝PM(X-△X,Y-△Y)；

所述P∈D,X,Y)∈P，△X、△Y分别为图像P中像素点的偏移量。

4.根据权利要求1所述的一种基于意图理解模型的导航式虚拟显微镜，其特征在于，所述检测待观察样本运动的图像信息的方法为载玻片的下表面设置有带有检测标记的圆面，在操作过程时待检测样本发生位置移动，利用带有检测标记的圆面和所述位移变换过程的公式，计算出样本位置移动，根据偏移量△X和△Y观察到样本图像。

5.根据权利要求1所述的一种基于意图理解模型的导航式虚拟显微镜，其特征在于，所述触觉通道信息处理的方法为：通过调节粗准焦螺旋或细准焦螺旋来调节图像清晰度，其中粗准焦螺旋或细准焦螺旋的转动变化函数为PV(),调节粗准焦螺旋，得到离散值t∈T{11,12,13,14,15,16},S_xy表示中心点在(x,y)处、滤波窗口的大小为m x n、均值滤波函数为PV,另外所以根据算术均值滤波函数可以得到新生成的图像P″

调节细准焦螺旋，得到离散值s，s∈S{1,2,3,4,5,6}，S_xy表示中心点在(x,y)处、滤波窗口的大小为m x n、均值滤波函数为PV,另外

所以根据算术均值滤波函数可以得到新生成的图像P″

所述P(x，y)为当前未经粗准焦螺旋调节或者未经细准焦螺旋调节的图像。

6.根据权利要求1所述的一种基于意图理解模型的导航式虚拟显微镜，其特征在于，所述操作指引为在用户使用导航式虚拟显微镜时，语音提示操作步骤或操作方法使待测样本位于显微镜的视野内。

7.根据权利要求1所述的一种基于意图理解模型的导航式虚拟显微镜，其特征在于，所述图像保存为在转动粗准焦螺旋或者细准焦螺旋时，当视野内的样本清晰度达到设定的阈值，语音提示保存图像，待用户确认后，虚拟显微镜系统将当前视野内的图像保存到指定文件夹中。