[发明专利]一种基于Transformer的Python伪代码自动生成方法

权利要求书

1.一种基于Transformer的Python伪代码自动生成方法，其特征在于，包括以下步骤：

S1、在Github上下载Python源代码和对应的伪代码以构建初始语料库，并对该语料库执行一系列预处理操作得到语料库；

所述步骤S1中对数据库进行预处理时，包括如下步骤：

S101、将源代码中的所有标识符转换成小写；

S102、使用NUM标记替换代码中的特定数字，用STR标记替换代码中的特定字符串；

S103、根据python命名规则，使用‘_’作为分隔符来进一步拆分开发人员定义的标识符；

S2、将语料库分成训练集、验证集，训练集用于构建并训练模型，验证集用于进行模型优化；

S3、基于上述构建的语料库，对构建的基于Transformer的CNN模型进行训练，利用结合位置编码方法以及注意力机制attention进行优化，得到伪代码自动生成模型：

所述伪代码自动生成模型的参数设置如下：

所述伪代码自动生成模型的深度设置为2层；

所述伪代码自动生成模型的宽度设置为256；

所述伪代码自动生成模型的学习率设置为0.001；

所述伪代码自动生成模型的Dropout概率设置为0.25；

所述伪代码自动生成模型的kernel_size设置为3；

所述伪代码自动生成模型的scale设置为

所述伪代码自动生成模型的batch_size设置为12；

所述伪代码自动生成模型的beam_size设置为3。

2.根据权利要求1所述的基于Transformer的Python伪代码自动生成方法，其特征在于，所述步骤S3中使用卷积神经网络进行建模时，包括如下步骤：

S301、基于卷积神经网络使用代码特征提取器挖掘代码的深层特征表示；

S302、将代码特征提取器学习到的特征表示与Transformer编码器学习到的上下文向量进行融合得到向量X；

S303、将向量X输入到Transformer解码器中，通过多头注意力机制，利用残差连接和层归一化使矩阵运算维数一致，并将网络中的隐藏层归一化为标准正态分布；

S304、通过前馈层和线性映射层，使用激活函数对向量进行激活；

S305、基于波束搜索算法，根据代码语义和代码特征为每行代码生成细粒度伪码。