[发明专利]一种基于文本挖掘的缺陷模式确定方法及系统

权利要求书

1.一种基于文本挖掘的缺陷模式确定方法，其特征在于，所述方法包括：

获取多个缺陷描述文本数据；

分别提取所述多个缺陷描述文本数据中每个缺陷描述文本数据的多个特征词语；

利用词频逆文档频率TF-IDF算法对每个缺陷描述文本数据的多个特征词语进行向量化处理，获取向量化数据集；

对所述向量化数据集进行聚类计算，获取多个聚类集合；

根据所述多个聚类集合中每个聚类集合中的向量化数据对应的特征词语，确定缺陷描述文本数据对应的缺陷模式。

2.根据权利要求1所述的方法，其特征在于，所述获取多个缺陷描述文本数据，包括：

从缺陷库中获取多个缺陷报告，并分别从每个缺陷报告中提取缺陷描述部分的文本作为缺陷描述文本数据。

3.根据权利要求1所述的方法，其特征在于，在分别提取所述多个缺陷描述文本数据中每个缺陷描述文本数据的多个特征词语之前，还包括：

分别对所述多个缺陷描述文本数据进行处理，去除非文本以及与缺陷描述内容无关的文本。

4.根据权利要求1所述的方法，其特征在于，所述分别提取所述多个缺陷描述文本数据中每个缺陷描述文本数据的多个特征词语，包括：

利用分词工具将每个缺陷描述文本数据中的句子分解为多个词语；

去除所述多个词语中的干扰词语，获取多个特征词语。

5.根据权利要求1所述的方法，其特征在于，所述利用词频逆文档频率TF-IDF算法对每个缺陷描述文本数据的多个特征词语进行向量化处理，获取向量化数据集，包括：

计算每个文本数据中每个特征词语的词频逆文档频率，对每个文本数据中的每个特征词语进行向量化处理，转换为对应的词向量，确定向量化数据集。

6.根据权利要求5所述的方法，其特征在于，利用如下公式计算每个特征词语的词频逆文档频率：

TFIDF_i，j＝TF_i，j×IDF_i,

其中，TF_i,j为特征词语i在对应的文本j中出现的频率；IDF_i为词语i的逆文档频率；TFIDF_i,j为特征词语i的词频逆文档频率；n_i,j为文本j中特征词语i的个数；k为文本j中所有的特征词语；D为文档的总数；

|{j：t_i∈d_j}|为包含特征词语t_i的文档数。

7.根据权利要求5所述的方法，其特征在于，所述对所述向量化数据集进行聚类计算，获取多个聚类集合，包括：

利用均值聚类算法K-Means将向量化数据集中的词向量划分到k个设定的聚类中，并分别计算每个词向量到对应的聚类中心的距离，并根据所述距离确定新的聚类中心不断迭代，确定最终的聚类集合。

8.一种基于文本挖掘的缺陷模式确定系统，其特征在于，所述系统包括：

缺陷数据获取单元，用于获取多个缺陷描述文本数据；

特征词语提取单元，用于分别提取所述多个缺陷描述文本数据中每个缺陷描述文本数据的多个特征词语；

向量化处理单元，用于利用词频逆文档频率TF-IDF算法对每个缺陷描述文本数据的多个特征词语进行向量化处理，获取向量化数据集；

聚类处理单元，用于对所述向量化数据集进行聚类计算，获取多个聚类集合；

缺陷模式确定单元，用于根据所述多个聚类集合中每个聚类集合中的向量化数据对应的特征词语，确定缺陷描述文本数据对应的缺陷模式。

9.根据权利要求8所述的系统，其特征在于，所述缺陷数据获取单元，获取多个缺陷描述文本数据，具体用于：

从缺陷库中获取多个缺陷报告，并分别从每个缺陷报告中提取缺陷描述部分的文本作为缺陷描述文本数据。