[发明专利]一种基于多模态信号融合的设计意图判别系统及方法

摘要

本发明公开了一种基于多模态信号融合的设计意图判别系统及方法，该系统通过多模态信号采集模块采集用户在产品设计过程中的多模态信号，并将多模态信号发送到多模态信号预处理模块；多模态信号分层整合模块，对预处理后的多模态信号进行特征提取，构建基于三层反向传播神经网络的信号识别分类模型，将提取的特征信息输入信号识别分类模型，将输出的识别结果进行统一表达和融合分析，确定用户的设计意图；产品设计指令生成模块，根据多模态信号分层整合模块输出的用户的设计意图，生成与用户的设计意图对应的产品设计指令。本发明降低了用户设计意图的表达的局限性，提高了用户设计意图表达的自然性和友好性。

主权项

1.一种基于多模态信号融合的设计意图判别系统，其特征在于，所述系统包括多模态信号采集模块、多模态信号预处理模块、多模态信号分层整合模块和产品设计指令生成模块；所述多模态信号采集模块，用于采集用户在产品设计过程中的多模态信号，并将所述多模态信号发送到所述多模态信号预处理模块；所述多模态信号预处理模块，接收所述多模态信号，对所述多模态信号进行预处理，去除所述多模态信号中的无效数据，并将预处理后的所述多模态信号发送到所述多模态信号分层整合模块；所述多模态信号分层整合模块包括特征层、原语层、指令层和意图层；所述特征层，对预处理后的多模态信号进行特征提取；所述原语层，构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入所述信号识别分类模型，得到与用户的操作意图对应的操作信息，各所述操作信息采用交互原语的形式表达；所述指令层，利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象；所述意图层将各交互原语进行融合分析确定用户的设计意图；所述产品设计指令生成模块，根据所述多模态信号分层整合模块输出的所述用户的设计意图，生成与所述用户的设计意图对应的产品设计指令。