[发明专利]一种基于正则变分嵌入式的软件需求聚类方法及系统

说明书

本发明涉及一种基于正则变分嵌入式的软件需求聚类方法及系统。该方法包括：获取不同类别软件的软件需求数据；对软件需求数据进行文本预处理；利用BERT预训练的句向量模型将软件需求文件映射到向量空间；利用正则变分嵌入式聚类模型对句向量进行聚类；进行聚类的步骤为：对句向量进行Dropout正则化处理，确定正则化向量；利用全连接层对正则化向量进行特征压缩；并根据压缩后的正则化向量，采用编码器确定嵌入特征；利用解码器对嵌入特征进行解码；根据嵌入特征，采用K‑means算法确定聚类划分结果；根据嵌入特征、原始向量以及聚类划分结果确定相应的损失函数，并对相应的损失函数进行反向传播，确定聚类结果。本发明提高了软件需求文本聚类的准确性。

技术领域

本发明涉及数据挖掘领域，特别是涉及一种基于正则变分嵌入式的软件需求聚类方法及系统。

背景技术

软件开发流程包括需求分析、系统设计、详细设计、测试和评估，想要设计出一款好的软件，首要工作便是需求分析，但实际开发过程中，人们忽略了需求分析的重要性，将关注点放在了设计阶段。需求分析引起的错误在软件开发过程中是看不到的，只要在测试阶段才会被发现，但这时修改错误将付出双倍的代价。软件需求描述不仅是用户和开发者沟通的桥梁，更是功能设计和性能指标的依据，它贯穿于整个软件开发过程，需求会随着时间推移发生变更，这会给后期开发带来巨大的风险。

需求分析阶段往往存在以下问题：(1)用户和开发人员所在研究领域的差异，两者熟悉自己的领域但是却对对方的领域很陌生，导致用户和开发人员需求沟通存在障碍；(2)软件需求描述中潜在需求未能挖掘出来，由于用户理解的计算机领域的专业知识有限，所要求的功能和性能设计表达不完整，导致在需求分析时可能遗漏；(3)软件需求文本描述模糊，存在稀疏性、歧义性、不可验证性等问题，同种意思的文本表达在不同领域的理解也有所区别，文本描述简短的缺点具体体现在功能描述冗余，开发流程繁琐，模块耦合性较高等方面，导致用户体验感和可操作性较差，软件成本和开发效率无法得到保证，从而造成项目失败。

需求分析阶段的问题给软件开发造成了不便，如果通过聚类方法将相似性描述聚集起来，只需要关注同一个类内的描述，那就可以指导这个类代表的是软件哪方面的功能以及应用领域。

传统的文本聚类方法首先要进行文本预处理，然后将对预处理过后的单词序列进行特征提取，再由词向量工具映射到向量空间上，基于度量函数完成样本划分。传统的特征提取技术是基于统计分析的，利用评估函数为已有的特征参数进行权值分配，特征权重代表了单词在整句话中的重要程度，但是这种方式往往忽略了序列的位置关系和语义信息，文本中的单词被当作孤立的个体，仅依靠频率无法准确表达语义，忽略了上下文关系。

常用的聚类方法大部分基于划分法、密度法和层次法，例如K-means、DBSCAN、Agglomerative Clustering等。已知的聚类方法在文本领域和图像领域都达到了不错的效果，但这未必能说明聚类方法适用于所有的领域知识划分，传统聚类还是极其依赖于所提取特征的质量和词向量模型的训练。深度学习的引入开始将工作集中在学习表征上，以深度模型学习文本的特征表达，相比于传统的特征提取非线性和拟合能力更强，所提取的特征在传统聚类上有大幅度提升，通过网络参数的调整，可以取得较高的聚类准确率。但是大部分深度聚类是基于两段式聚类，首先对文本进行特征提取，然后将压缩特征由传统聚类划分。两段式聚类结构清晰，特征提取器将高维特征压缩成低维特征，降低了数据稀疏性，包含了更多的文本语义，对于聚类具有更好的连续性和解释性，但是两段式聚类的缺点也很明显，就是表征学习和聚类过程分两个步骤进行，聚类中心和提取的特征不能根据聚类结果改善，且还是存在易陷入局部最优的缺点，前向聚类过程是一次性的，只能小幅度改善聚类输出。

传统的文本聚类方法易受初始聚类中心的影响，且大部分基于距离度量，方法依旧存在易陷入局部最优的缺点，深度聚类结合了深度学习技术和传统聚类方法，模型结构容易了解，聚类结果相较于传统聚类有小幅提升，但是大部分深度聚类方法基于两段式聚类，不能反向传播优化聚类中心和样本分布。