[发明专利]组件识别方法、装置、计算机设备和存储介质

权利要求书

1.一种组件识别方法，其特征在于，所述方法包括：

确定待识别的页面设计图文件，从所述页面设计图文件中分别提取至少两种模态下各自的设计图模态特征；

获取组件库中比对组件在所述至少两种模态下各自的比对模态特征；

根据所述至少两种模态中相同模态下的设计图模态特征和比对模态特征，确定所述相同模态下的特征比对参数；

基于由所述至少两种模态下各自的特征比对参数融合获得的多模态融合特征，确定所述页面设计图文件与所述比对组件之间的组件相似参数；

根据所述页面设计图文件与所述组件库中各组件之间各自的组件相似参数，从所述组件库中识别出与所述页面设计图文件相匹配的组件。

2.根据权利要求1所述的方法，其特征在于，所述至少两种模态包括文本模态、图像模态和组件布局模态；所述从所述页面设计图文件中分别提取至少两种模态下各自的设计图模态特征，包括：

按照所述文本模态和所述图像模态，从所述页面设计图文件中分别提取得到设计图文本特征和设计图图像特征；

针对所述页面设计图文件中包括的组件进行组件图形转换，得到包括至少一个组件图形的设计图图形集；

基于所述设计图图形集得到在所述组件布局模态下的设计图组件布局特征。

3.根据权利要求2所述的方法，其特征在于，所述基于所述设计图图形集得到在所述组件布局模态下的设计图组件布局特征，包括：

根据所述设计图图形集中包括的至少一个封闭图形，得到设计图图形分布特征；

根据所述设计图图形集中包括的至少一个封闭图形生成映射图像；

针对所述映射图像进行特征提取，得到映射图分布特征；

根据所述设计图图形分布特征和所述映射图分布特征，得到在所述组件布局模态下的设计图组件布局特征。

4.根据权利要求3所述的方法，其特征在于，所述根据所述至少两种模态中相同模态下的设计图模态特征和比对模态特征，确定所述相同模态下的特征比对参数，包括：

根据所述设计图文本特征和所述比对组件在所述文本模态下的比对文本特征，得到所述文本模态下的文本特征比对参数；

根据所述设计图图像特征和所述比对组件在所述图像模态下的比对图像特征，得到所述图像模态下的图像特征比对参数；

根据所述映射图分布特征和所述比对组件在所述组件布局模态下的组件映射图分布特征，得到所述组件布局模态下的映射图特征比对参数；

根据所述设计图图形分布特征和所述比对组件在所述组件布局模态下的比对图形分布特征，得到所述组件布局模态下的图形重叠参数。

5.根据权利要求1所述的方法，其特征在于，所述基于由所述至少两种模态下各自的特征比对参数融合获得的多模态融合特征，确定所述页面设计图文件与所述比对组件之间的组件相似参数，包括：

将所述至少两种模态下各自的特征比对参数进行融合，得到多模态融合特征；

针对所述多模态融合特征进行至少一次的特征提取，得到预测特征；

基于所述预测特征进行组件相似预测，得到所述页面设计图文件与所述比对组件之间的组件相似参数。

6.根据权利要求1所述的方法，其特征在于，所述根据所述至少两种模态中相同模态下的设计图模态特征和比对模态特征，确定所述相同模态下的特征比对参数，包括：

对于所述至少两种模态中的目标模态，确定在所述目标模态下的设计图模态特征和比对模态特征；

针对在所述目标模态下的设计图模态特征和比对模态特征进行特征相似性分析，获得在所述目标模态下的特征比对参数。

7.根据权利要求6所述的方法，其特征在于，所述针对在所述目标模态下的设计图模态特征和比对模态特征进行特征相似性分析，获得在所述目标模态下的特征比对参数，包括：

将在所述目标模态下的设计图模态特征和比对模态特征分别进行归一化映射，得到归一化后的设计图模态特征和归一化后的比对模态特征；

将所述归一化后的设计图模态特征和所述归一化后的比对模态特征进行融合，获得模态相似特征；

根据所述模态相似特征得到在所述目标模态下的特征比对参数。