[发明专利]基于多模态融合的三维建模系统及建模方法

权利要求书

1.一种基于多模态融合的三维建模方法，其特征在于，包括：

分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据；

对反馈数据进行多模态融合，获得多模态融合的模型数据；

将模型数据与数据库指令进行匹配，获得指令集；

对指令集的属性进行解析，获得出相关建模参数；

对相关建模参数进行识别，获取建模方法；

基于建模方法进行自动建模，获得可视化实体模型；

其中，将可视化实体模型的模型数据与指令集进行映射测试，获得指令集与模型数据的对应关系，并将指令集与模型数据的对应关系存储到后端数据库用于后期加载。

2.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器反馈数据的方法包括：

将脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器分别设置在操作员身体的不同位置；

通过脑电传感器采集操作员大脑命令数据，通过肌电传感器采集操作员面部肌肉变化数据，通过眼动传感器采集操作员眼动变化数据，通过手势传感器采集操作员手势变化数据，通过语音传感器采集操作员发出的语音数据。

3.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，对反馈数据进行多模态融合，获得多模态融合的模型数据的方法包括：

将大脑命令数据、面部肌肉变化数据、眼动变化数据、手势变化数据以及语音数据进行数据融合，获得模型数据。

4.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，将模型数据与数据库指令进行匹配，获得指令集的方法包括：

模型数据根据数据库中不同类别数据与不同指令的对应关系，获得生成不同指令汇总的指令集；其中，大脑命令数据用于生成模型指令，面部肌肉变化数据用于生成几何模型指令，眼动变化数据用于生成确定建模位置指令，手势变化数据用于生成旋转、收缩指令，语音数据用于生成撤销或删除指令。

5.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，所述相关建模参数包括：名称、分类、型号、几何特征以及数学表达式。

6.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，对指令集的属性进行解析，获得出相关建模参数的方法为：

将指令集发送到建模系统，获得相关建模参数，其中，建模系统根据指令集的属性分析建模物体的数学特性和物理特性。

7.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，所述建模方法包括：基本体建模、扩展体建模、布尔运算建模、拉伸建模、旋转建模、复杂建模；

所述基本体建模包括：长方体、球体、圆柱体、圆锥体、楔形体和圆环体、几何球体、茶壶、四棱锥、管状体以及若干不规则形体的几何体建模命令；

所述扩展体建模包括：对基本体建模中的几何体建模命令参数的扩展；

所述布尔运算建模为对扩展体建模和基本体建模的基础上通过各实体元素间的布尔运算来构造更为复杂的三维实体模型；

所述拉伸建模为二维图形基面，构造三维实体模型；

所述旋转建模为选择任一基线旋转生成三维实体模型；

所述复杂建模为导入数学函数进行三维实体模型的曲面构建。

8.一种基于多模态融合的三维建模系统，其特征在于，包括：体感传感器模块、通信模块、模型建立模块以及数据库模块；

所述体感传感器模块用于将采集的多种反馈数据进行多模融合，获得多模融合的模型数据；

所述通信模块用于将模型数据上传；

所述数据库模块用于将模型数据与数据库指令进行匹配，获得指令集；以及存储指令集与模型数据的对应关系；

所述模型建立模块用于对指令集的属性进行解析，获得出相关建模参数，对相关建模参数进行识别，获取建模方法，并基于建模方法进行自动建模，输出可视化实体模型。