[发明专利]基于文本聚类的线上课堂讨论短文本即时分组方法及系统

说明书

本发明公开基于文本聚类的线上课堂讨论短文本即时分组方法及系统。该方法包括：对文本数据进行分词预处理和停用词预处理；获取各文本项关键词，统计存储于关键词表keyTable；对预处理后的文本集，进行频繁项集挖掘，过滤各子项准频繁项集，结合关键词表定义准频繁项集相似度计算规则，粗归簇；将各簇最靠近簇心的点逆映射到文本集，计算各簇内文本词集TF‑IDF值，按距离迭代更新质心至最优；将获取的K个簇，即时分组推送。本发明采用的结合关键词表定义准频繁项集相似度计算规则有效提高线上讨论短文本聚类准确度；采用准频繁项集过滤策略有效提高归簇效率，加速聚类方法；把线上课堂讨论过的文本信息内容，自动归纳成多个主题，并把文本内容按主题分组。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于文本聚类的线上课堂讨论短文本即时分组方法及系统。

背景技术

集成了互联网和传统教育资源的在线云课堂平台兴起于近几年，各大高校、教育机构纷纷开设云课堂在线平台。云课堂为用户创造了一个即时的网络互动课堂，因其高效、便捷、即时性等特点而深受在线学习者欢迎。互动部分中，线上课堂讨论内容实现即时分组可使课上讨论内容条理更明确清晰，可有效提高在线学习者的阅读效率，常采用数据挖掘的方法进行操作。

现有技术中，对无标记文本内容分组的常用方法是文本聚类，对同主题文档进行冗余消除、信息融合处理。在中文线上课堂讨论中大量存在10至50有效中文词组组成的短文本信息。现有对短文本的聚类方法主要基于传统的聚类方法，可分为层次法、划分法、基于密度的方法、基于网格的方法和基于模型的方法。在使用传统的聚类方法对短文本进行数据化时，常用的向量空间模型因具有向量维度高、特征稀疏、语义信息不丰富等特点而影响了聚类的准确度。

在传统聚类方法中，K-means算法以其简洁、快速和较好的准确度而得以广泛运用。K-means算法是基于数据点到初始聚类中心的某种距离作为优化的目标函数，利用迭代运算调整聚类中心至目标函数最优。算法的初始中心，对聚类结果有较大的影响，但是传统的K-means算法初始中心由随机函数获得。且传统的K-means算法不可预测聚类类别数目。

发明内容

本发明为解决上述技术问题，提出了一种基于文本聚类的线上课堂讨论短文本即时分组方法及系统。通过文本预处理、关键词挖掘、准频繁项集粗归簇结合TF-IDF计算簇间文本距离迭代更新质心，调研明确聚类个数，一定程度上克服了传统聚类算法不能准确应用于线上课堂讨论短文本的问题。

本发明提供的基于文本聚类的线上课堂讨论短文本即时分组方法，包括：

获取并存储线上课堂讨论短文本数据；

对文本数据，进行分词预处理和停用词预处理；

获取各文本项关键词，统计存储于关键词表统计表keyTable；

对预处理过后的文本集，进行频繁项集挖掘，过滤各子项的准频繁项集，结合关键词统计表定义准频繁项集相似度计算规则，粗归簇；

将各组最靠近簇心的点逆映射到文本集，计算各簇内文本词集TF-IDF值，根据TF-IDF提取文本的特征，获取文本特征向量；

计算各特征点到各簇簇心距离，划分到距离最近的簇，迭代更新质心至最优。

获取所述文本词汇特征向量的K个簇，即时分组推送各簇内容，按支持度降序排列。

进一步地，所述文本分词预处理及关键词挖掘使用汉语词法分词系统ICTCLAS、基于HTTP协议的开源中文分词系统HTTPCWS或简易中文分词系统SCWS；停用词预处理使用静态停用词表或基于统计学习的停用词表。其中，停用词判定条件为：剔除特殊符号、中英文单字、常见噪声字词。

进一步地，所述获取各文本项关键词存储于关键词表统计表keyTable，关键词统计表keytable记录所有关键词逆文档频数统计。