[发明专利]一种基于语义信息增强的Bash代码注释生成方法

权利要求书

1.一种基于语义信息增强的Bash代码注释生成方法，其特征在于，包括以下步骤：

S1、将NL2Bash研究中共享的语料库和NLC2CMD竞赛共享的语料库合并，再删除重复的样本，最终构建了一个包含10,592个样本的高质量数据集E，设定数据集的格式为代码，注释；

S2、对构建的数据集随机划分成训练集、验证集和测试集，同时构建预训练模型CodeBERT；

S3、使用CodeBERT生成词嵌入C1，并在Embedding层使用PGD对抗训练方法添加干扰，生成一系列对抗样本C2；

S4、在所述步骤S3得到的词嵌入C1和对抗样本C2上继续微调CodeBERT，输出12层表征信息CLS_i，同时构建Bi-LSTM神经网络；

S5、使用由12个单元构成的Bi-LSTM神经网络聚合所述步骤S4得到的12层表征信息CLS_i，输出12个隐向量h_i；

S6、使用注意力机制根据不同权重聚合所述步骤S6得到的12个隐向量h_i，得到最终融合向量h；

S7、使用Transformer解码器对所述步骤S7得到的最终融合向量h进行解码并输出相应Bash代码注释。

2.根据权利要求1所述的基于信息增强的Bash代码注释生成方法，其特征在于，所述步骤S2具体包括如下步骤：

S21：对于步骤S1得到的数据集进行划分，按照80％：10％：10％的比例进行随机划分训练集、测试集和验证集；

S22：构建预训练模型CodeBERT。

3.根据权利要求1所述的基于信息增强的Bash代码注释生成方法，其特征在于，所述步骤S3具体包括如下步骤：

S31：对于给定的Bash代码段，根据大小写规则对其进行分割，得到输入序列；

S32：将序列输入到CodeBERT中，提取Embedding层得到的词嵌入并添加干扰，得到代码段的原词嵌入C1和对应的对抗样本C2。

4.根据权利要求1所述的基于信息增强的Bash代码注释生成方法，其特征在于，所述步骤S4包括具体包括如下步骤：

S41：CodeBERT继续在步骤S3得到的原词嵌入C1和对应的对抗样本C2上训练，提取输出中12层的隐藏状态CLS_i；

S42：构建由12个单元构成的Bi-LSTM神经网络。

5.根据权利要求1所述的基于信息增强的Bash代码注释生成方法，其特征在于，所述步骤S5将步骤S4中提取的12层的隐藏状态CLS_i作为Bi-LSTM的输入，其最后输出12个隐向量h_i。

6.根据权利要求1所述的基于信息增强的Bash代码注释生成方法，其特征在于，所述步骤S6使用注意力机制根据不同权重聚合步骤S6得到的12个隐向量h_i，得到最终融合特征向量h。

7.根据权利要求1所述的基于信息增强的Bash代码注释生成方法，其特征在于，所述步骤S7使用Transformer解码器对所述步骤S6得到的最终融合特征向量h进行解码并输出相应Bash代码注释。