[发明专利]多模态融合的示教方法、装置、计算设备及存储介质

说明书

本发明公开了一种多模态融合的示教方法，包括构建工件表面的三维点云，根据工件表面的三维点云，获取工件表面的数据点集；根据工件表面的数据点集并结合加工策略，确定虚拟夹具引导轨迹的起点和终点，以定步长增加获取离散数据点集，对离散数据点集插值可得虚拟夹具引导轨迹；判断虚拟夹具引导轨迹的方向是否大于90度，若大于90度，则通过人工拖动完成部分示教；若小于90度，则通过语音指令辅助完成部分示教。本发明通过三维重构得到了工件表面形状的信息，使得机器人末端基本能准确达到或接近理想的加工点，操作者只需要在虚拟夹具不准确时对机器人末端施加一定的力进行微调或进行语音调控，使得示教过程智能化。

技术领域

本发明属于机器人智能加工技术领域，更具体地，涉及一种多模态融合的示教方法、装置、计算设备及存储介质。

背景技术

航空发动机、汽轮机、水轮机等叶片式流体机械，具有数量多，形状复杂以及加工精度要求高、表面粗糙度要求高的特点。目前，对于上述具有复杂轨迹曲面零件，大部分工厂仍然采用人工打磨的方式，此方式生产效率较低下、一致性差，而且危害人体健康。因此机器人技术被广泛地应用于上述复杂轨迹零件的加工。当前，机器人进行复杂轨迹曲面零件的加工主要由经验丰富的专家通过离线编程与示教器示教法进行轨迹的规划，以得到加工轨迹。此外，目前研究较多的加工机器人示教编程方法，大都采用人力拖动示教的方式获得加工轨迹。

上述机器人加工轨迹的获取方法存在以下缺点，第一，离线编程的时间成本高、经济成本高、复杂性高；第二，目前加工机器人的拖动示教方法中人力拖动的时间长、劳动量大、智能化程度较低；第三，目前的示教方法大多基于单一的输入，比如力输入或视觉输入，稳定性较低，而且交互、反馈少。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种多模态融合的示教方法、装置、计算设备及存储介质。

第一方面，本发明提供一种多模态融合的示教方法，包括：

构建工件表面的三维点云，根据所述工件表面的三维点云，获取工件表面的数据点集；

根据所述工件表面的数据点集并结合加工策略，确定虚拟夹具引导轨迹的起点和终点，以定步长增加获取离散数据点集，对所述离散数据点集插值可得所述虚拟夹具引导轨迹；

判断所述虚拟夹具引导轨迹的方向是否大于90度，

若大于90度，则通过人工拖动完成部分示教；

若小于90度，则通过语音指令辅助完成部分示教；

进一步地，所述通过人工拖动完成部分示教，包括，结合肌电和力传感器判断人工是否有修正所述虚拟夹具的意图，若是，则修正所述虚拟夹具；若否，则判断沿所述虚拟夹具引导轨迹的运动是否完成。

进一步地，通过比较积分肌电值和均方根振幅，可以判断人工修正虚拟夹具的意图；如下式，当前时刻积分肌电值与初始时刻肌电的差值小于k，且对应的均方根振幅的差值小于k₁时，人工没有修正所述虚拟夹具的意图，

如下式，当前时刻积分肌电值与初始时刻肌电的差值大于k，且对应的均方根振幅的差值大于k₁时，人工有修正所述虚拟夹具的意图，

其中，iEMG(t)是当前刻的积分肌电值，iEMG(t₀)是初始时刻积分肌电值，EMG(t)是肌电曲线；RMS为均方根振幅；T为采样的时间间隔，t为当前时刻，t₀为初始时刻；k为iEMG(t)信号的变化阈值，k₁为RMS的变化阈值。