[发明专利]基于不平衡学习策略高影响缺陷报告预测方法

说明书

本发明公开了一种基于不平衡学习策略高影响缺陷报告预测方法：使用文本预处理方法对缺陷报告的文本信息进行处理；将处理后文本信息分储为训练集和测试集；对训练集做多次数据平衡处理；使用多个分类器对经过平衡处理的训练集进行训练；把多个分类器的优点进行集成并输出；使用文本特征提取模块来对测试集中的缺陷报告进行文本特征提取；使用训练好的模型对测试集中的缺陷报告进行预测。本发明克服了数据的不平衡特性并加以利用，将不平衡学习策略与约束求解相结合，基于不同分类算法的不同能力，提出了利用权重优化每个分类器的判别概率以提高分类效果，并将优化后的多个分类器进行集成，通过获取更合适的权重来获得更高的准确率。

技术领域

本发明涉及一种预测方法，具体地说是一种基于不平衡学习策略高影响缺陷报告预测方法。

背景技术

随着开源软件项目规模和复杂性的增加，在大多数软件系统中出现了不可避免的bug(缺陷)，bug修复已经成为软件开发和维护中最重要的活动之一。但是，缺陷报告的数量非常巨大，开发人员难以有效管理，而在这些缺陷报告中，不同的缺陷有着不同的影响，开发人员最需要优先解决的缺陷是那些少量的但是具有重大影响的缺陷，因此，提供一种有效的方法来来帮助开发人员检测到那些对于软件系统有重大影响的缺陷是非常有必要的。而这些具有高优先级的缺陷被称为高影响bug。在之前的研究及相关工作中，有人提出了通过分类算法和不平和策略的组合来识别高影响bug的方式，但是这些方法的结果并不尽如人意，识别准确率并不是很高，并不能应用于软件项目中。

文献[Automated Identification of High Impact Bug Reports LeveragingImbalanced Learning Strategies]和[High-Impact Bug Report Identification withImbalanced Learning Strategies]中对于两种高影响力的缺陷(bug)进行了研究，对于surprise bugs采用了SMOTE(合成少数过采样技术)+KNN(k临近)来进行不平衡问题的优化以及分类问题，对于breakage bugs采用了RUS(随机欠采样)+NB(朴素贝叶斯)来处理不平衡问题以及分类问题。

上述的方法提出的解决问题的方式在分析问题时只使用了一种分类方法，由于不同的分类方式具有不同的特性，因此只使用一种分类方式在求解问题时很难得到较高的评价。

发明内容

根据上述提出的技术问题，提出了一种基于通过优化集成与不平衡学习策略(OIILS)的预测方法，以确定该缺陷是否具有高影响力，旨在帮助开发人员检测对软件系统构成更多威胁的漏洞。本发明采用的技术手段如下：

一种基于不平衡学习策略与优化集成的关于高影响缺陷报告预测方法，具有如下步骤：

S1、使用文本预处理方法对缺陷报告的文本信息进行处理；

S2、使用10折交叉验证的方法，将步骤S1得到的处理后文本信息分储为训练集和测试集；

S3、使用不平衡学习策略SMOTE(Synthetic Minority Over-samplingTechnique)算法对训练集做多次数据平衡处理；

S4、使用多个分类器对经过平衡处理的训练集进行训练；

S5、根据不同分类器对每个类别的发现能力不同，使用CPLEX约束求解器对多个分类器进行优化集成，把多个分类器的优点进行集成并输出；

S6、使用文本特征提取模块来对测试集中的报告进行文本特征提取；

使用步骤S5中的训练好的模型对测试集中的缺陷报告进行预测。

所述步骤S1的具体步骤如下：

从缺陷报告的摘要和描述字段中提取文本特征；