[发明专利]基于用户界面的控制方法、系统和电子设备

权利要求书

1.一种基于用户界面的控制方法，其特征在于，包括：

获取待测试产品的产品描述；

对所述产品描述进行分词并将分词后的每一个词输入包含嵌入层的转换器模型以获得与所述产品描述对应的词特征向量的序列；

通过条件随机场对所述词特征向量的序列中的每个词特征向量进行标注以获得每个所述词特征向量对应的标签类别，其中，所述标签类别为功能组件；

将各个所述标签类别通过编码器以获得与各个所述标签类别对应的一个或多个特征向量；

将与各个所述标签类别对应的一个或多个特征向量进行二维拼接以获得第一特征矩阵至第n特征矩阵，n为类别标签的数量，其中，第一特征矩阵至第n特征矩阵中各个特征矩阵中的特征值用于表示功能组件的功能特征，各个特征矩阵的尺度用于表示功能组件在用户界面中的重要程度；

将所述第一特征矩阵至所述第n特征矩阵进行三维拼接为特征图；

将所述特征图投影到二维平面上以获得投影矩阵；以及

将所述投影矩阵输入基于卷积神经网络的生成器模型以生成与所述待测试产品相适配的用户界面，其中，所述生成器模型的基于密集预测模型架构，所述生成器模型的各层对使用不同卷积核进行卷积运算得到的特征图进行拼接和上采样。

2.根据权利要求1所述的基于用户界面的控制方法，其中，对所述产品描述进行分词并将分词后的每一个词输入包含嵌入层的转换器模型以获得与所述产品描述对应的词特征向量的序列，包括：

对所述产品描述分词处理以获得多个词；

将所述多个词中的每一个词输入所述转换器模型的嵌入层以将所述每一个词转化为词输入向量以获得词输入向量的序列；

将所述词输入向量的序列输入所述转换器模型的转换器以获得所述词特征向量的序列，其中，所述词特征向量的序列中的每个词特征向量包括所述产品描述中所有词的全局关联特征。

3.根据权利要求2所述的基于用户界面的控制方法，其中，将各个所述标签类别通过编码器以获得与各个所述标签类别对应的一个或多个特征向量，包括：

对所述各个所述标签类别进行独热编码以获得各个所述标签类别对应的类别编码向量；

将各个所述类别标签对应的类别编码向量通过所述编码器以获得与各个所述标签类别对应的一个或多个特征向量。

4.根据权利要求3所述的基于用户界面的控制方法，其中，将各个所述类别标签对应的类别编码向量通过所述编码器以获得与各个所述标签类别对应的一个或多个特征向量，包括：

使用所述编码器的全连接层提取出所述类别编码向量中各个位置的特征值的高维隐含特征；以及

使用所述编码器的一维卷积层提取出所述类别编码向量中各个位置的特征值之间的关联的高维关联隐含特征，以获得与各个所述标签类别对应的一个或多个特征向量。

5.根据权利要求4所述的基于用户界面的控制方法，其中，将所述第一特征矩阵至所述第n特征矩阵进行三维拼接为特征图，包括：

对所述第一特征矩阵至所述第n特征矩阵中的每一个特征矩阵进行线性变换以将所述第一特征矩阵至所述第n特征矩阵转化为具有相同尺度；以及

将具有相同尺度的所述第一特征矩阵至所述第n特征矩阵拼接为所述特征图。

6.根据权利要求5所述的基于用户界面的控制方法，其中，将所述特征图投影到二维平面上以获得投影矩阵，包括：

计算所述特征图沿通道维度的各个位置的特征向量的均值以获得所述投影矩阵。

7.根据权利要求6所述的基于用户界面的控制方法，其中，所述生成器模型为由卷积层、上采样层和激活层交替的卷积神经网络；

其中，将所述投影矩阵输入用于融合的基于卷积神经网络的生成器模型以生成与所述待测试产品相适配的用户界面，包括：

使用所述生成器模型的卷积层对所述投影矩阵进行卷积处理以获得卷积特征图；

使用所述生成器模型的与所述卷积层连接的上采样层对所述卷积特征图进行上采样以获得上采样特征图；以及

使用所述生成器模型的与所述上采样层连接的激活层对所述上采样特征图进行激活以生成激活特征图并输出至所述生成器模型的下一层的所述卷积层。