[发明专利]基于从图像灰度恢复形状技术的纹理力触觉再现方法

说明书

技术领域

本发明涉及虚拟现实技术中的力触觉再现，尤其是一种基于从图像灰度恢复形状技术的纹理力触觉再现方法，它是根据单幅纹理图像重构出该纹理的三维虚拟表面，并对虚拟表面进行力触觉渲染的方法，属于计算机视觉、虚拟现实技术与遥操作机器人技术领域。

背景技术

随着虚拟现实技术在外科手术仿真、遥操作机器人控制、虚拟制造等领域的应用，力触觉信息的反馈对于虚拟操作的重要性日益显著。在虚拟现实系统中，通过力触觉再现装置，将物体表面的纹理特性反馈给操作者，能增强操作者的沉浸感，有助于提高对虚拟对象的感知和操纵能力。

虚拟现实中，纹理的力触觉表达通常需要提取纹理表面的高度轮廓特征，即要获取纹理表面凹凸高度信息，而图像纹理则反映的是纹理表面的二维灰度特征。

物体表面的三维几何形状对纹理的力触觉再现是非常重要的。目前，纹理力触觉模型大多基于三维模型，二维纹理图像缺少高度信息，无法直接应用力触觉渲染模型。

现有的纹理力触觉再现方法主要分三类：基于三维纹理表面的方法、基于随机模型的方法、基于图像处理的方法。

基于三维纹理表面的方法，一般是通过专门设计的触觉传感器或者是专用的测量仪器测量物体表面的轮廓信息，进行三维建模，然后应用各种力触觉模型进行力触觉渲染。纹理触觉检测中比较通用的做法是由卡耐基梅隆大学机器人学院提出的，该方法通过用探针在物体表面运动建立物体表面纹理模型。具体表述为，探针垂直于物体表面，并以一定大小的力与物体表面接触，并以恒速运动，这样探针针尖的运动轨迹可以反映物体表面细微凹槽的深度和频度，间接地反映了物体表面的纹理信息。但是，该方法存在很大的不足，首先探针与物体表面是点接触，运动轨迹呈线状，只能反映轨迹线上的凹凸信息，即使增加探针运动的密集程度，也不能囊括整个表面的二维纹理信息；其次探针针尖的大小直接关系到运动轨迹的振动幅度；再次，用探针在物体表面拖动来检测纹理信息的方法，会对柔软物体的表面造成损伤。

基于随机模型的力触觉再现方法，Saira和Pai提出了纹理力触觉再现的随机方法。他们认为摸索纹理表面的接触力可以描述为一个随机变量。从局部分析，该接触力表现出很大的随机性；从整体分析，接触力存在某种统计学规律性(如遵循Gauss分布、Markov随机场等)，不同的纹理产生的接触力存在不同的数字特征。这种方法能够在一定程度上较好再现自然纹理的触感，反映该纹理的材质。但其不足之处在于，该方法仅能再现纹理的粗糙度，而对表面上真实存在的凸起和凹陷的走势及深度表达效果不佳。

基于图像处理的方法是目前纹理力触觉再现领域的研究热点。Vasudevan等人提出了一种基于图像处理的纹理力触觉再现方法。该方法提出了力渲染掩膜的概念，通过子图像与力渲染掩膜相乘，有效的对图像的边缘和纹理进行力触觉渲染。东南大学吴涓等提出将纹理图像Gauss滤波，并将反映纹理信息的高频频谱作为高度图，分别应用胡克定律和摩擦力公式计算虚拟探针对纹理表面作用的法向力和摩擦力。这些方法并未恢复表面的微观三维轮廓，操作者感知的只是边缘或者粗糙度。Le Mercier等提出了四种像素亮度与对应点三维高度的映射方法，重建纹理图像所反映表面的微观三维几何形状，进而完成力触觉的渲染。这种方法中，操作者虽然可以有效的感知纹理的凹凸感，但由于三维高度与图像像素亮度的映射关系并非基于物理的成像原理，所恢复的表面三维轮廓并不真实。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于从图像灰度恢复形状技术(SFS，shape from shading)的纹理力触觉再现方法，该方法无需专门仪器测量物体表面的微观轮廓，无需设计专用的纹理表达装置，实验表明该方法是可行的。

本发明方法的技术方案是：一种基于从图像灰度恢复形状技术的纹理力触觉再现方法，其特征在于：设有采用Tsai&Shah算法从二维纹理图像中恢复出表面纹理的三维微观形状以及用力触觉模型渲染两个阶段过程，包括首先从图像灰度信息中提取真实纹理的微观三维轮廓信息，绘制成虚拟表面，然后对该虚拟表面的纹理通过力触觉模型进行渲染，计算出的力由通用手控器输出到操作者。

可按以下步骤进行：

第1阶段，从单幅图像中恢复三维轮廓，该阶段分为4个步骤：

(1)把图像处理成灰度图像，并灰度归一化；

(2)建立光反射模型；

(3)依据灰度和光反射模型建立方程，求出表面各点的高度；

(4)建立虚拟表面三角网格模型；

第2阶段，用纹理力触觉模型对虚拟表面进行力触觉渲染：