[发明专利]一种电力可穿戴现场作业人机交互方法、装置及系统

权利要求书

1.一种电力可穿戴现场作业人机交互方法，其特征在于，所述电力可穿戴现场作业人机交互方法包括：

实时采集视频流图像，并将所述视频流图像发送至服务端；

接收所述服务端对所述视频流图像处理后得到的图像识别结果，其中，所述图像识别结果包括识别图像和与所述识别图像对应的编号；

根据所述识别图像和所述识别图像对应的编号进行跟踪注册，并建立图像的三维空间坐标；

实时绘制UI按钮，并计算UI按钮的三维空间坐标，其中所述UI按钮的三维空间坐标为UI按钮相对于图像的三维空间偏移量与所述图像的三维空间坐标相加得到；

在所述视频流图像中创建瞄准标记，并将所述瞄准标记的坐标设置为固定值；

根据UI按钮的三维空间坐标与所述瞄准标记的坐标计算UI按钮与瞄准标记之间的相对偏移量；

当头部运动时，通过判断所述相对偏移量与选中允许阈值的大小选定感兴趣的UI按钮；

向所述服务端发送感兴趣的UI按钮被选定的通知，并接收服务端反馈的与感兴趣的UI按钮对应的视频流图像中的电力设备的信息。

2.根据权利要求1所述的电力可穿戴现场作业人机交互方法，其特征在于，所述根据所述识别图像和所述识别图像对应的编号进行跟踪注册，并建立图像的三维空间坐标包括：

对视频流图像中的关键帧进行训练，得到关键帧特征集；

获取实时帧图像与关键帧间的特征匹配集合，并去除误匹配点；

采用金字塔L-K光流跟踪方式进行特征点匹配完成图像的跟踪注册；

建立图像的三维空间坐标N（a，b，c）。

3.根据权利要求2所述的电力可穿戴现场作业人机交互方法，其特征在于，所述实时绘制UI按钮，并计算UI按钮的三维空间坐标包括：

通过Unity3D 渲染引擎实时绘制UI按钮；

记录所述UI按钮相对于图像的三维空间偏移量O（x1，y1，z1）；

将图像的三维空间坐标N（a，b，c）与按钮的三维空间偏移量O（x1，y1，z1）相加，获得UI按钮当前帧的三维空间坐标U（x2，y2，z2）= O（x1，y1，z1）+ N（a，b，c）。

4.根据权利要求3所述的电力可穿戴现场作业人机交互方法，其特征在于，所述根据UI按钮的三维空间坐标与所述瞄准标记的坐标计算UI按钮与瞄准标记之间的相对偏移量包括：

将每一帧的UI按钮的三维空间坐标U（x2，y2，z2）与瞄准坐标T（x0，y0，z0）相减，得到UI按钮与瞄准标记之间的相对偏移量Q（x3，y3，z3）= U（x2，y2，z2）-T（x0，y0，z0）。

5.根据权利要求4所述的电力可穿戴现场作业人机交互方法，其特征在于，所述当头部运动时，通过判断所述相对偏移量与选中允许阈值的大小选定感兴趣的UI按钮包括：

设定选中允许阈值为A；

当所述相对偏移量Q的坐标满足|x3|A|y3|A|z3|A条件时，判定感兴趣的UI按钮被选中。