[发明专利]多模态输入深度神经网络、框架结构梁柱设计方法及装置

权利要求书

1.一种多模态输入深度神经网络，其特征在于，包括卷积神经网络柱布置模块和图神经网络梁布置模块；

其中，所述卷积神经网络柱布置模块包括特征编码融合网络以及图像生成网络；

所述特征编码融合网络用于对建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息、设计文本信息进行特征提取并进行特征融合，得到融合特征；所述图像生成网络用于基于上述融合特征生成柱布置图像；

所述图神经网络梁布置模块包括柱节点和边信息提取网络以及图谱特征生成网络；

所述柱节点和边信息提取网络用于从所述柱布置图像中提取节点信息，结合所述柱布置图像、建筑荷载分区图像信息、建筑功能分区图像信息提取边信息；所述图谱特征生成网络用于基于所述节点信息和边信息生成图谱特征。

2.根据权利要求1所述的多模态输入深度神经网络，其特征在于，所述多模态输入深度神经网络的形成包括：

将所述建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息分别进行数字编码，形成尺寸相同的三种图像信息的三维特征矩阵，将三种图像信息的三维特征矩阵进行拼接，形成图像特征矩阵；

将每一类设计文本信息通过编码形成尺寸相同的一维设计信息特征向量，将各类一维设计信息特征在维度为一的维度方向进行拼接，形成二维矩阵，将所述二维矩阵通过卷积和反卷积运算扩展为与图像特征矩阵的图像长度维度和宽度维度尺寸相同的二维矩阵，将所述二维矩阵通过复制拼接，形成与图像特征矩阵尺寸相同的设计信息矩阵；

将所述图像特征矩阵和所述设计信息矩阵进行哈达玛积矩阵运算，得到所述卷积神经网络柱布置模块的第一输入特征；

将所述第一输入特征输入至卷积神经网络柱布置模块，通过卷积和反卷积运算，映射生成柱布置图像；

基于所述柱布置图像和目标与轮廓检测算法，得到柱轮廓的矩形轮廓坐标；

对所述柱轮廓的矩形轮廓坐标取中点坐标，得到图节点坐标特征；将任两个节点之间取边，作为图的潜在边；基于图的潜在边，融合荷载分区图像特征，形成每条边的平均荷载特征，融合功能分区图像特征，形成每条边的功能分区特征；

将每条潜在边的平均荷载特征，以及功能分区特征进行拼接，形成图的边特征；结合所述图节点坐标特征，形成图神经网络梁布置模块的第二输入特征；

将所述第二输入特征输入至所述图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征。

3.根据权利要求2所述的多模态输入深度神经网络，其特征在于，所述基于图的潜在边，融合荷载分区图像特征，形成每条边的平均荷载特征，融合功能分区图像特征，形成每条边的功能分区特征，包括：

将每条边投影在荷载分区图像上，以融合荷载分区信息到边的特征上，根据每条边的投影所跨越的荷载分区种类及各种类所对应的边长度，采用加权平均计算每条边的平均荷载特征；将每条边投影在功能分区图像上，以融合功能分区信息到边的特征上，对不同功能分区采用数字不重复编号，根据每条边的投影所跨越的功能分区种类，将每条边的投影所跨越的功能分区种类总数及对应编号进行整理。

4.根据权利要求2所述的多模态输入深度神经网络，其特征在于，所述卷积神经网络柱布置模块和图神经网络梁布置模块之间通过所述目标与轮廓检测算法连接，用于实现框架结构梁柱布置。

5.一种框架结构梁柱设计方法，其特征在于，包括：

构建并训练如权利要求1所述的多模态输入深度神经网络；

获取待设计框架结构的建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息，对图像信息进行编码和组合，形成图像特征矩阵；获取待设计框架结构的设计文本信息，对设计文本信息进行编码，并与图像特征矩阵进行运算，形成所述卷积神经网络柱布置模块待输入特征；

将所述待输入特征输入多模态输入深度神经网络，在其中卷积神经网络柱布置模块生成柱子布置位置并通过目标与轮廓检测算法输出柱子矩形轮廓坐标后，将柱作为节点，将任两节点之间作为潜在边，将建筑荷载分区图像信息和建筑功能分区图像信息耦合为边特征，将节点坐标作为节点特征；将节点特征和边特征输入图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征，实现框架结构梁柱设计。