[发明专利]基于多模态融合的三维建模系统及建模方法

说明书

本发明公开了一种基于多模态融合的三维建模系统及建模方法，方法为：分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据，对反馈数据进行多模态融合，获得多模态融合的模型数据，将模型数据与数据库指令进行匹配，获得指令集并进行解析，获得出相关建模参数并进行识别，获取建模方法，根据建模方法进行自动建模，获得可视化实体模型；通过本发明的方法将多元体感人机交互与传统几何建模相结合，无需操控键盘、鼠标等交互设备进行复杂的建模命令输入操作，提高建模效率和减少操作人员操控精力的浪费，进而提升操作者建模体验。

技术领域

本发明属于三维建模技术领域，具体涉及一种基于多模态融合的三维建模系统及建模方法。

背景技术

传统几何建模方法依靠操作者采用鼠标、键盘与可视化的建模界面进行交互，并在面临复杂模型建模时需要操作者进行编辑或查找复杂的建模命令，进行这种方式延长了建模的时间，其次在建模占据操作系统内存较大的情况下，极易造成建模系统的卡顿或以及其它系统不稳定的情况，长期以往使得建模操作过程繁琐、枯燥，因此无法给予建模操作者较好的建模体验。

发明内容

发明目的：为了克服现有技术中的不足，本发明提供一种基于多模态融合的三维建模系统及建模方法，通过本发明的方法将多元体感人机交互与传统几何建模相结合，无需操控键盘、鼠标等交互设备进行复杂的建模命令输入操作，和传动建模方式相比提高建模效率和减少操作人员操控精力的浪费，进而提升操作者建模体验。

技术方案：第一方面本发明提供一种基于多模态融合的三维建模方法，包括：

分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据；

对反馈数据进行多模态融合，获得多模态融合的模型数据；

将模型数据与数据库指令进行匹配，获得指令集；

对指令集的属性进行解析，获得出相关建模参数；

对相关建模参数进行识别，获取建模方法；

基于建模方法进行自动建模，获得可视化实体模型；

其中，将可视化实体模型的模型数据与指令集进行映射测试，获得指令集与模型数据的对应关系，并将指令集与模型数据的对应关系存储到后端数据库用于后期加载。

在进一步的实施例中，分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器反馈数据的方法包括：

将脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器分别设置在操作员身体的不同位置；

通过脑电传感器采集操作员大脑命令数据，通过肌电传感器采集操作员面部肌肉变化数据，通过眼动传感器采集操作员眼动变化数据，通过手势传感器采集操作员手势变化数据，通过语音传感器采集操作员发出的语音数据。

在进一步的实施例中，对反馈数据进行多模态融合，获得多模态融合的模型数据的方法包括：

将大脑命令数据、面部肌肉变化数据、眼动变化数据、手势变化数据以及语音数据进行数据融合，获得模型数据。

在进一步的实施例中，将模型数据与数据库指令进行匹配，获得指令集的方法包括：

模型数据根据数据库中不同类别数据与不同指令的对应关系，获得生成不同指令汇总的指令集；其中，大脑命令数据用于生成模型指令，面部肌肉变化数据用于生成几何模型指令，眼动变化数据用于生成确定建模位置指令，手势变化数据用于生成旋转、收缩指令，语音数据用于生成撤销或删除指令。

在进一步的实施例中，所述相关建模参数包括：名称、分类、型号、几何特征以及数学表达式。

在进一步的实施例中，对指令集的属性进行解析，获得出相关建模参数的方法为：

将指令集发送到建模系统，获得相关建模参数，其中，建模系统根据指令集的属性分析建模物体的数学特性和物理特性。

在进一步的实施例中，所述建模方法包括：