[发明专利]一种基于混合现实的远程标注方法、终端及系统

说明书

本发明提出了一种基于混合现实的远程标注方法、终端及系统，获取二维标注数组；将获取二维标注数组转化为三维坐标数组；根据三维坐标数组中所有坐标各个方向上的和，求出重心坐标；在重心坐标处发出射线，射线碰撞到的对象确定为所要标注的对象，将射线与对象碰撞点的坐标和所述重心坐标相减得到变换位移量；将三维坐标数组中的每个点与所述变换位移量相加，得到新的三维数组；在新的三维数组的每两个点之间渲染一条线段，完成在空间中实时的三维标注；本发明提出的方法及系统，能在Hololens端和PC端等其他设备之间实现远程混合现实标注，并且具有较高的准确度。

技术领域

本发明属于远程标注技术领域，尤其涉及一种基于混合现实的远程标注方法、终端及系统。

背景技术

在工作和生活中，当人们遇到问题时可能会进行远程协助，但是需要进行操作的物体往往处在比较复杂的现实环境中，如果依赖传统的视频交互方式只能观看单方面视角，无法使用肢体语言，难以用语言方式描述现实物体的环境及其所在的位置，并且使用肉眼观看并描述现实物体位置的位置容易造成误差。

发明人发现，传统的视频交互方式只能观看单方面视角，无法使用肢体语言，难以用语言方式描述现实物体的环境及其所在的位置，不能精确的在协助端(PC端)和受协助端(Hololens端)的设备之间实现远程标注，准确度较低。

发明内容

本发明为了解决上述问题，提出了一种基于混合现实的远程标注方法、终端及系统，本发明提出的方法能在Hololens端和PC端等其他设备之间实现远程混合现实标注，并且具有较高的准确度。

为了实现上述目的，第一方面，本发明提供了一种基于混合现实的远程标注方法，采用如下技术方案：

一种基于混合现实的远程标注方法，包括：

获取二维标注数组；

将获取二维标注数组转化为三维坐标数组；

根据三维坐标数组中所有坐标各个方向上的和，求出重心坐标；在重心坐标处发出射线，射线碰撞到的对象确定为所要标注的对象，将射线与对象碰撞点的坐标和所述重心坐标相减得到变换位移量；将三维坐标数组中的每个点与所述变换位移量相加，得到新的三维数组；在新的三维数组的每两个点之间渲染一条线段，完成在空间中实时的三维标注。

进一步的，获取二维标注数组时，使用线渲染器和反插值算法进行二维标注。

进一步的，两数y₁，y₂之间的插值lerp为：lerp＝y₁+(y₂-y₁)*weighy；

其中，weight是一个在区间[0，1]的实数，反插值算法即利用已知插值lerp和两数y₁，y₂求出weight的值

进一步的，鼠标每一帧的屏幕空间坐标被自动捕获保存到存储坐标数组中，并增加一个点数；同时每一帧将坐标数组中的后两位坐标构成一个新的坐标数组，后两位坐标为(point1，point2)；循环多次，每一次循环使0作为y₁，3作为y₂，0作为插值，求出weight的值，补充坐标＝(1-weight)*point1+weight*points2，将补充坐标加入到一个新的坐标数组，同时使插值值加1进入下一次循环，循环多次后结束会得到2个两点之间补充坐标和原来的两个坐标点，将得到的坐标每个点之间进行连接得到一个平滑的曲线，直到协助端结束标注。

进一步的，将获取二维标注数组转化为三维坐标数组时，将屏幕二维坐标数组转化为距离受协助端使用对象画面相同处的三维坐标数组，

其中，x_m为所有坐标的x轴的和，y_m为所有坐标的y轴的和，z_m为所有坐标的z轴的和，m为坐标的个数。