[发明专利]一种基于层次聚类的聊天记录分析方法和装置

说明书

本发明涉及计算机技术领域，提供了一种基于层次聚类的聊天记录分析方法和装置。方法包括获取聊天记录和相关的数据信息，并对所述聊天记录做DBSCAN聚类算法前的预处理；采用DBSCAN的聚类算法，对预处理之后的数据做聚类处理；对所述DBSCAN的聚类处理的结果数据，采用TF‑IDF算法提取关键字作为热词，并统计数据条目出现热词的次数，以出现次数最多的热词作为所述聊天记录的标签。本发明提出了一种基于层次聚类的聊天记录分析方法，结合了DBSCAN的聚类算法和TF‑IDF算法之间的性能特性，对现有的无规则的聊天记录做了具有特征性的标签标定，使得所述聊天记录能够被进一步被后续操作步骤以简化的方式使用。

【技术领域】

本发明涉及计算机技术领域，特别是涉及一种基于层次聚类的聊天记录分析方法和装置。

【背景技术】

随着移动互联网技术的快速发展，人们越来越习惯于进行线上沟通和交流，这也造就了海量的文本数据(如聊天记录或问答数据)，对这些数据的挖掘和分析，往往能得到非常丰富的信息。目前文本数据挖掘已经成为信息领域的研究热点之一，并且在客户服务、公司决策方面发挥巨大价值。

然而，和结构化数据不同，文本数据是高度非结构化的，同时还具有很高的歧义性质，这也给具体的分析工作带来了挑战。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明要解决的技术问题是目前文本数据挖掘已经成为信息领域的研究热点之一，并且在客户服务、公司决策方面发挥巨大价值，然而，和结构化数据不同，文本数据是高度非结构化的，同时还具有很高的歧义性质，这也给具体的分析工作带来了困难。

本发明采用如下技术方案：

第一方面，本发明提供了一种基于层次聚类的聊天记录分析方法，包括：

获取聊天记录和相关的数据信息，并对所述聊天记录做DBSCAN聚类算法前的预处理；

采用DBSCAN的聚类算法，对预处理之后的数据做聚类处理；

对所述DBSCAN的聚类处理的结果数据，采用TF-IDF算法提取关键字作为热词，并统计数据条目出现热词的次数，以出现次数最多的热词作为所述聊天记录的标签。

优选的，所述聊天记录包括系统日志中提取的客户问题记录、客户之间的聊天记录、客户与专家之间的聊天记录和对应于客户发表文章的回复内容中的一项或者多项；所述相关的数据信息包括金融领域专用词汇、中文停用词表、预训练的词向量数据。

优选的，所述对所述聊天记录做DBSCAN聚类算法前的预处理，包括：

将问题数据中的股票名称、代码统一用指定标识符替代，然后对文本数据执行繁简转换、大小写转换和停用词去除中的一项或者多项操作；

将文本数据转化成由各词条构成的向量表示。

优选的，所述采用DBSCAN的聚类算法，对预处理之后的数据做聚类处理，包括：

类别最小数据条数的设定为：数据总数/a，其中a的取值区间为[100-300]；

中心点最大距离的设定为：数据平均距离/b,其中b通过数据平均距离可以采用随机抽样的方式估计得到，其取值区间为[0.1-0.3]。

优选的，所述采用TF-IDF算法提取关键字作为热词，具体包括：

通过公式逐一计算结果数据中个词条的重要性；其中，分子是该词在聊天记录中的出现次数，而分母则是在聊天记录中所有字词的出现次数之和；

通过公式计算词语普遍重要性，其中，|D|为语料库中的聊天记录总数；