[发明专利]一种基于对偶强化学习的代码-注释转换方法

说明书

本发明公开了一种基于对偶强化学习的代码‑注释转换方法，包括：将代码转换成注释阶段：建立代码注释生成模型，将代码转换为词向量，使用LSTM双向神经网络对代码词向量中的序列和结构信息进行特征提取；使用注意力机制对词向量中的各个词分配权重得到每个词的权重；对各词向量及其权重进行融合，使用梯度下降法计算每个词被选择的概率；对每个词的权重和每个词被选择的概率进行对偶约束；使用BLEU评估方法计算每个序列和数据集中的标准注释的匹配程度，并除以n求平均值作为每个词在的强化学习中的奖励值。

技术领域

本发明涉及自动软件开发技术领域，尤其涉及一种基于对偶强化学习的代码-注释转换方法。

背景技术

注释转换成代码和代码转换成注释是自动软件开发领域中的两个关键任务。注释转换成代码能根据自然语言描述生成代码(代码)，而代码转换成注释根据代码自动生成注释(注释s)。之前的研究中提出了各种基于神经网络的方法来分别解决这两个任务。但是，在注释转换成代码和代码转换成注释之间存在特定的直观关联，对这两个任务之间的关系进行利用可以提高两个任务的性能。考虑到两个任务之间的对偶性，论文[1]中提出了一个双重训练框架来同时训练注释转换成代码和代码转换成注释这两个任务。在此框架中考虑了概率和注意力权重的对偶性，并设计了相应的正则化项来约束对偶性。

但在之前的研究中处理对偶任务时，均使用seq2seq模型，但是seq2seq存在一定的局限，易产生曝光偏差，为了解决/降低这个问题带来的影响，可以使用强化学习来处理对偶学习任务。并且在动作选择时使用概率分布和强化学习中的蒙特卡罗算法(MC算法)进行搜索，从完整的序列中评判动作的优劣。并使用注意力机制对偶和概率对偶来进行对偶约束，提高对偶学习模型的性能。

大部分之前的研究都是单独的实现注释转换成代码和代码转换成注释这两个过程的，而没有考虑到这两者的输入输出是一个互逆关系，注释转换成代码过程的输入是代码转换成注释的输出，而代码转换成注释的输入是注释转换成代码的输出。暂未有研究利用注释转换成代码和代码转换成注释这两个过程之间的联系来同时提升它们的性能。因此考虑使用对偶模型来解决代码-注释的转换问题，而之前的研究者在处理对偶问题时，均使用seq2seq模型，但是seq2seq存在一定的局限，易产生曝光偏差，

发明内容

根据现有技术存在的问题，本发明公开了一种基于对偶强化学习的代码-注释转换方法，具体包括如下步骤：

将代码转换成注释阶段：

建立代码注释生成模型，将代码转换为词向量，使用LSTM双向神经网络对代码词向量中的序列和结构信息进行特征提取；

使用注意力机制对词向量中的各个词分配权重得到每个词的权重；

对各词向量及其权重进行融合，使用梯度下降法计算每个词被选择的概率；

对每个词的权重和每个词被选择的概率进行对偶约束；

使用强化学习中的蒙特卡罗算法(MC算法)选择奖励值Reward最高的词，将对词的选择作为强化学习中的一个动作；对每个词后续还未产生的词进行采样探索到该词对应的n个后续词序列，使用BLEU评估方法计算每个序列和数据集中的标准注释的匹配程度，并除以n求平均值作为每个词在的强化学习中的奖励值；

通过神经网络及反向传递机制、根据奖励值的大小对代码生成注释过程的参数进行更新，通过计算目标序列和实际序列奖励的均方误差更新选择策略；

将注释转换成代码阶段：

将注释转换为词向量，使用LSTM双向神经网络对注释词向量中的序列和结构信息进行特征提取；

使用注意力机制对词向量中的各个词分配权重得到每个词的权重；

对各词向量及其权重进行融合，对各词向量及其权重进行融合，使用梯度下降法计算每个词被选择的概率；