[发明专利]骨性手术模拟人机交互输入方法及装置和图像识别方法

说明书

技术领域

本发明涉及一种人机交互输入方法及装置，特别是一种骨性手术模拟人机交互输入方法及装置和图像识别方法。

背景技术

随着医学科学的发展和计算机对信息的处理能力的提高，计算机辅助外科手术成为近十年新兴起的现代数字医疗手段，而计算机辅助关节介入手术模拟与导航定位系统的研究，是其中的关键，如何有效的利用计算机的处理能力成为了一个新课题，即人机交互。目前，键盘和鼠标的输入方式最为普遍，但有局限性、不能满足实际需要；手写输入速度较慢；语音输入识别难度大，短期内难以用作复杂的应用；触摸屏输入成本高，对距离要求高；数字化仪输入和扫描输入针对的领域有限；而三维输入与其他的输入方式相比、在使用者的感受上占有很大的优势，但是目前的三维输入设备成本很高，难以推广。

发明内容

本发明的目的在于，提供一种骨性手术模拟人机交互输入方法及装置和图像识别方法，它以视觉输入的方式来实现三维输入的效果，克服了键盘、鼠标等输入方式的局限性，能满足骨性手术模拟的实际需要，它可以采用FPGA技术进行设计，相比三维输入设备成本和运行功耗较低，并且可提高设计效率，它还可采用识别效果良好的图像识别模块，识别速度可达到完全实时，可实现基本的三维模型的交互方式，可使用多种手术刀模型对骨骼进行切割。

本发明的技术方案：一种骨性手术模拟人机交互输入方法，包括：

采集操作者图像信息；

处理并储存操作者图像信息；

发出图像识别请求，读取图像信息；

对图像信息进行识别，给出每一帧图像的位置信息；

根据图像的位置信息，分析、判断操作者发出的动作信息，并对显示参数作出相应的修改；

将操作者的动作信息实时的通过显示设备显示；

对图像的位置信息和操作者的动作信息进行整合处理，去掉采集过程中干扰较大的数据；

将数据信息发送给PC端。

前述的骨性手术模拟人机交互输入方法中，所述采集操作者图像信息的方法为：操作者戴设有红外线发射装置的手套在显示设备前做出包含输入指令的手势，图像传感器采集手势图像红外光点。

前述的骨性手术模拟人机交互输入方法中，所述处理并储存操作者图像信息的方法为：对图像信息进行镜像、颜色转换处理，然后存入图像数据缓存区。

前述的骨性手术模拟人机交互输入方法中，所述对图像信息进行识别的方法为：

在获取图像信息的同时从上向下扫描整幅图像；

在扫描到某一行时只记录该行中的连续光斑，从而得到若干个线段；

在对某一行进行扫描的同时试图将当前行的线段和上一行的线段进行匹配；如果成功匹配则说明这两条线段来自图像中的同一光斑，累计该光斑已包含的点数；如果匹配失败说明这条线段很可能是一个新的光斑的第一行；

如果一个光斑不能再被某一行的线段匹配，说明该行在光斑的正下方；

在一帧图像的结尾通过统计扫描过程中出现的每个光斑的累积点数信息，选出最大的两个光斑作为识别结果，计算它们的坐标并调整它们的编号顺序。

本方法在接收图像信息的同时得出了识别结果，达到了完全的实时，并且在整个扫描过程中同时记录的信息只有扫描的当前行和前一行的线段信息，所以需要的存储空间很小。在容错性和抗干扰能力方面，由于我们只保留了最大的两个光斑，所以对于有其他较小光点干扰的情况能够很好的解决。为了处理出现内空点的这种常见扰动，在行内扫描时我们将空了一个点也视为连续线段。这两个机制的结合使本方法对于边缘不平整，图形不规则，内空点较多的情况也能够很好地解决。

前述的骨性手术模拟人机交互输入方法中，分析、判断操作者发出的动作信息的方法为：以状态机的方式通过分析最近几帧图像的定位变化判断操作者的动作，并对显示参数作出相应的修改。

前述的骨性手术模拟人机交互输入方法中，所述对图像的位置信息和操作者的动作信息进行整合处理的方法为：搭建一个以NiosII/f型软核处理器为核心的SOPC系统，运行uC/OS-II嵌入式操作系统，将图像识别模块给出的坐标点和动作解析模块识别出的操作者动作信息进行整合处理，去掉采集过程中干扰较大的数据。

前述的骨性手术模拟人机交互输入方法中，所述将数据信息发送给PC端的方法为：通过串口通信接口将信息发送给PC端。