[发明专利]一种基于深度学习的语义相似代码在线检测方法

说明书

本发明公开了一种基于深度学习的语义相似代码在线检测方法，属于软件工程软件缺陷预测技术领域。本发明基于标识符文本相似性和语义相似性，在线判断给定的两段代码片段(函数)是否为语义相似代码。首先，从样本库中提取每个函数的相关标识符文本和函数结构信息，将标识符文本信息进行分词、缩写词扩展和词性标注等自然语言处理，将程序结构信息进行抽象处理，并转换为向量表示，连接两个函数的向量表示输入到深度神经网络，进行语义相似性学习和自动检测。本发明充分利用了深度学习技术挖掘程序文本中隐含的相似语义信息，保证了在线检测的实时和准确性。

技术领域

本发明涉及一种语义相似代码在线检测方法，具体涉及一种基于深度学习的语义相似代码在线检测方法，属于软件工程软件缺陷预测技术领域。

背景技术

在软件缺陷预测技术领域中，克隆代码，是指功能相同或相似的代码片段，可分为文本相同的克隆代码、文本相似的克隆代码、句法相似的克隆代码和语义相似的克隆代码等四类。

克隆代码的存在，不仅增加了软件的冗余度，而且给软件维护和软件演化带来一定困难。为此，人们提出了不同的方法用于检测、消除和管理克隆代码。其中，有效检测克隆代码，是管理和消除克隆代码的前提与基础。

现有的克隆代码检测方法，主要针对文本相同的克隆代码、文本相似的克隆代码、句法相似的克隆代码这三类克隆代码进行检测，能够有效检测文本相似的克隆代码。但是，其很难检测程序结构和算法不相似而语义相似的冗余克隆代码。研究结果表明，现有的克隆代码检测方法能检测的语义相似代码不足1％，即，有99％以上的语义相似代码无法通过现有的克隆代码检测方法进行检测。

由于检测语义相似的克隆代码涉及复杂的程序语义分析，因此，如何有效检测这类克隆代码，至今仍然是一个尚未解决的难题。

发明内容

本发明的目的是针对现有技术的不足，为解决针对语义相似的克隆代码检测的技术问题，提出一种基于深度学习技术的语义相似代码在线检测方法。

本方法的创新点在于：充分利用静态代码分析技术和深度学习技术，对大数据进行信息挖掘，支持对任何开源项目的实时检测。

本发明采取以下技术方案实现。

首先，基于静态代码分析技术，提取样本库中每个函数的程序结构特征和标识符文本信息。其中，样本库中存储开源项目源代码数据，包括已经标注好的语义相似代码和语义不相似代码。

然后，利用自然语言处理技术对函数结构信息进行预处理，将结构信息进行符号化处理，并进行信息向量化表示，将两个向量(函数)合成为一条训练数据。

之后，设计神经网络，将训练数据输入神经网络进行模型训练，根据网络输出结果调整网络参数和模型优化。

最后，将待检测项目代码输入训练好的神经网络模型进行检测。

有益效果

本发明方法，对比现有技术，具有以下优点：

(1)充分利用了静态程序分析和自然语言处理技术，挖掘程序中文本标识符中隐含的自然语言和程序语义信息，方法简单易操作。

(2)充分利用了深度神经网络拟合程序的语义相关和相似性规律，能够有效检测语义相似代码。

附图说明

图1为本发明方法的工作原理图。

具体实施方式

下面结合附图对本发明方法做进一步详细说明。

本发明，利用静态代码解析和自然语言处理技术挖掘程序文本标识符中隐含的自然语言和程序语义信息，然后基于深度学习技术训练神经网络模型进行语义相似关系映射，并根据网络输出结果进行语义相似性预测。