[发明专利]多模态融合的示教方法、装置、计算设备及存储介质

权利要求书

1.一种多模态融合的示教方法，其特征在于，包括：

构建工件表面的三维点云，根据所述工件表面的三维点云，获取工件表面的数据点集；

根据所述工件表面的数据点集并结合加工策略，确定虚拟夹具引导轨迹的起点和终点，以定步长增加获取离散数据点集，对所述离散数据点集插值可得所述虚拟夹具引导轨迹；

判断所述虚拟夹具引导轨迹的方向是否大于90度，

若大于90度，则通过人工拖动完成部分示教，判断人工是否有修正所述虚拟夹具的意图，若是，则修正所述虚拟夹具；若否，则判断沿所述虚拟夹具引导轨迹的运动是否完成，通过比较积分肌电值和均方根振幅，判断人工修正虚拟夹具的意图，当前时刻积分肌电值与初始时刻肌电的差值小于k，且对应的均方根振幅的差值小于k₁时，人工没有修正所述虚拟夹具的意图：

当前时刻积分肌电值与初始时刻肌电的差值大于k，且对应的均方根振幅的差值大于k₁时，人工有修正所述虚拟夹具的意图：

其中，iEMG(t)是当前刻的积分肌电值，iEMG(t₀)是初始时刻积分肌电值，EMG(t)是肌电曲线；RMS为均方根振幅；T为采样的时间间隔，t为当前时刻，t₀为初始时刻；k为iEMG(t)信号的变化阈值，k₁为RMS的变化阈值；

若小于90度，则通过语音指令辅助完成部分示教。

2.根据权利要求1所述的一种多模态融合的示教方法，其特征在于：所述通过语音指令辅助完成部分示教，包括机器人识别、分析所述语音指令，并生成对应方向的驱动力。

3.根据权利要求2所述的一种多模态融合的示教方法，其特征在于：识别所述语音指令时，其匹配度最高的文本信息W^*为：

其中，X为当前语音信息，W指对应的文本信息，P(W)指文本信息的概率，P(X|W)指文本信息的条件概率。

4.根据权利要求3所述的一种多模态融合的示教方法，其特征在于：所述机器人收到停止指令后会停止生成所述驱动力，当所述机器人收到交互指令后，会进行相应的语音回答。

5.根据权利要求1-3任一项所述的一种多模态融合的示教方法，其特征在于：所述虚拟夹具引导轨迹为：

x_vm＝L_s(s_vm)

其中，s_vm代表虚拟夹具引导轨迹的曲线参数，其由组成，是s_vm的导数；x_vm为虚拟夹具引导轨迹上的点，为x_vm的导数；x′_j,x′_j-1是获得工件表面上的离散数据点；L_s代表虚拟夹具的几何模型；J_s代表虚拟夹具的雅克比矩阵。

6.一种多模态融合的示教装置，用于实现如权利要求1-5中任一项所述的示教方法，其特征在于，包括：

获取模块，获取工件表面的数据点集；

处理模块，根据所述工件表面的数据点集并结合加工策略，确定虚拟夹具引导轨迹的起点和终点，以定步长增加获取离散数据点集，对所述离散数据点集插值可得所述虚拟夹具引导轨迹；判断当前时刻所述虚拟夹具引导轨迹的方向是否大于90度，

若大于90度，则通过人工拖动机器人完成部分示教；

若小于90度，则通过语音指令辅助机器人完成部分示教；

确定模块，根据示教过程中所述机器人的运动轨迹，确定所述运动轨迹复现。

7.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至5任一项所述的多模态融合的示教方法。

8.一种存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至5任一项所述的多模态融合的示教方法。