[发明专利]热点发现和可视化交互方法与系统

权利要求书

1.一种热点发现和可视化交互方法，其特征在于，包括：

接收输入的用户交互数据，所述用户交互数据包括多条顺序排列的文本句子数据，所述文本句子数据包括表格形式存储的文本信息，所述文本信息包括两列，其中一列表示id，另一列为每个id对应的句子信息；

对文本句子数据进行粗分组处理，基于选定的无监督聚类算法对所述文本句子数据进行聚类分组处理，将句子分配至不同的簇中，形成多个簇组合，记为集合ClustersA；

对聚类分组结果进行全局和局部的提纯处理，获得提纯后的多个簇组合，记为集合ClustersB。

2.根据权利要求1所述的热点发现和可视化交互方法，其特征在于，在聚类分组处理过程中，根据用户选择的无监督聚类算法以及设定的聚类参数，进行聚类分组操作，其中：

对于K-means聚类算法，设定的聚类参数包括聚类中心个数；

对于DBSCAN聚类算法，设定的聚类参数包括初始化参数，即：领域半径Eps和领域半径Eps范围内的最少点数MinPts。

3.根据权利要求1所述的热点发现和可视化交互方法，其特征在于，对文本句子数据进行粗分组处理，基于选定的无监督聚类算法对所述文本句子数据进行聚类分组处理，将句子分配至不同的簇中，形成多个簇组合，包括以下步骤：

步骤2-1、对列表形式的文本信息进行数据清洗，获得清洗后的文本数据列表，记为集合N；

步骤2-2、基于中文预训练语言模型作为中文句向量工具，将每个句子处理成维度大小为1*786的句子向量，则集合N的句子生成的矩阵维度为N*768，记为矩阵A；

步骤2-3、将N*768维度的矩阵A进行降维处理，将矩阵A从N*768维转换为N*2大小的矩阵B，使得每一个句子都拥有一个降维坐标；

步骤2-4、基于选定的无监督聚类算法对转换输出的矩阵B进行聚类分组操作，将句子分配至不同的簇中，形成多个簇组合，记为所述的集合ClustersA，并计算每个句子到其所在簇的簇心的距离，以及每个簇内的句子个数。

4.根据权利要求3所述的热点发现和可视化交互方法，其特征在于，在所述步骤2-4中，使用余弦相似度来表示句子到其所在簇的簇心的距离，通过计算句子与簇心所对应的向量的夹角的余弦值，来度量它们之间的相似性，余弦相似度的结果越趋向1，说明两个句子越相似。

5.根据权利要求3所述的热点发现和可视化交互方法，其特征在于，在所述步骤2-2中，还包括以下步骤：

使用制图工具将所述矩阵B绘制成二维散点图，所有点被配置渲染成同样的形状和颜色，记为图像C，表示全量数据未分组之前的可视化图。

6.根据权利要求5所述的热点发现和可视化交互方法，其特征在于，在所述步骤2-4中，还包括以下步骤：

根据每个句子的ClusterID和降维坐标，绘制所述集合ClustersA的二维散点图，其中相同簇的点的标记形状和颜色保持一样，并且不同的簇的标记形状使用不同的样式，由此渲染获得的二维散点图作为记为图像D，表示全量数据分组之后的可视化图。

7.根据权利要求6所述的热点发现和可视化交互方法，其特征在于，在粗分组处理之后，根据用户对比全量数据分组前后的可视化图而确认的分组结果，进入提纯处理，否则重新输入聚类参数重新进行粗分组，直到用户确认分组结果。

8.根据权利要求1-7中任意一项所述的热点发现和可视化交互方法，其特征在于，所述对聚类分组结果进行全局和局部的提纯处理，包括：

步骤3-1、基于集合ClustersA，进行全局簇提纯处理，剔除不良簇；

步骤3-2、对全局处理后的集合ClustersA进行局部去噪处理，去除每一个簇内的噪声数据，获得去噪后的多个簇组合输出，即所述的集合ClustersB。