[发明专利]一种电力可穿戴现场作业人机交互方法、装置及系统

说明书

本发明涉及信息交互技术领域，具体公开了一种电力可穿戴现场作业人机交互方法，其中，包括：实时采集视频流图像，并将视频流图像发送至服务端；接收服务端对视频流图像处理后得到的图像识别结果；根据识别图像和识别图像对应的编号进行跟踪注册；绘制UI按钮，并计算UI按钮的三维空间坐标；在视频流图像中创建瞄准标记；计算UI按钮与瞄准标记之间的相对偏移量；通过判断相对偏移量与选中允许阈值的大小选定感兴趣的UI按钮；接收服务端反馈的与感兴趣的UI按钮对应的视频流图像中的电力设备的信息。本发明还公开了一种电力可穿戴现场作业人机交互装置及系统。本发明提供的电力可穿戴现场作业人机交互方法具有方便电力现场作业的优势。

技术领域

本发明涉及信息交互技术领域，尤其涉及一种电力可穿戴现场作业人机交互方法、电力可穿戴现场作业人机交互装置及包括该电力可穿戴现场作业人机交互装置的电力可穿戴现场作业人机交互系统。

背景技术

随着电网规模日益扩大和新型设备投产，电网设备的制造安装、运维检修面临资料繁杂、步骤复杂、设备拆装精准度高以及人员水平不一等问题，传统作业模式已不能适应电网发展要求。在电网设备制造安装现场作业方面，新型设备、大型设备不断涌现，制造安装作业的执行环节更加复杂，步骤流程及精确度要求更高，复杂度大大提高，作为设备全生命周期的重要环节，传统的制造安装作业方法难以适应现场作业要求，作业效率低、质量难以保证；在电网设备的运维检修作业方面，现场人员难以快速全面掌握设备信息及运行趋势，标准化作业指导卡与实际操作没有实现无缝衔接，工作模式有待改进。通过基建和运检移动应用，虽然可以应用手机、PDA实现部分现场信息的实时采集、同步及分析，但在交互上占用双手，现场作业指导协作能力较弱。

但是传统头部运动识别需要依赖高精度惯性传感器，且容易出现头部运动轨迹漂移定位不准等缺陷，机械电磁式头部运动识别技术由于需要依赖外置的识别设备导致设备庞大且不便于移动，不适合电力现场作业环境下的可穿戴式设备的应用。

因此，如何能够方便电力现场作业成为本领域技术人员亟待解决的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种电力可穿戴现场作业人机交互方法、电力可穿戴现场作业人机交互装置及包括该电力可穿戴现场作业人机交互装置的电力可穿戴现场作业人机交互系统，以解决现有技术中的问题。

作为本发明的第一个方面，提供一种电力可穿戴现场作业人机交互方法，其中，所述电力可穿戴现场作业人机交互方法包括：

实时采集视频流图像，并将所述视频流图像发送至服务端；

接收所述服务端对所述视频流图像处理后得到的图像识别结果，其中，所述图像识别结果包括识别图像和与所述识别图像对应的编号；

根据所述识别图像和所述识别图像对应的编号进行跟踪注册，并建立图像的三维空间坐标；

实时绘制UI按钮，并计算UI按钮的三维空间坐标；

在所述视频流图像中创建瞄准标记，并将所述瞄准标记的坐标设置为固定值；

根据UI按钮的三维空间坐标与所述瞄准标记的坐标计算UI按钮与瞄准标记之间的相对偏移量；

当头部运动时，通过判断所述相对偏移量与选中允许阈值的大小选定感兴趣的UI按钮；

向所述服务端发送感兴趣的UI按钮被选定的通知，并接收服务端反馈的与感兴趣的UI按钮对应的视频流图像中的电力设备的信息。

优选地，所述根据所述识别图像和所述识别图像对应的编号进行跟踪注册，并建立图像的三维空间坐标包括：

对视频流图像中的关键帧进行训练，得到关键帧特征集；

获取实时帧图像与关键帧间的特征匹配集合，并去除误匹配点；