[发明专利]一种大数据背景下在线评论文本最佳主题提取系统和方法

说明书

本发明公开一种大数据背景下在线评论文本最佳主题提取系统和方法。首先，在在线评论主题模型语料库的准备过程中，通过词频统计结果对语料库的预处理、规范化及文本向量化等环节进行了优化，提高了语料库向量的可靠性与质量；其次，在主题提取的迭代过程中，将主题一致性值作为关键控制参数，优化模型，确定了最佳的主题数量；再次，利用主题代表性文档、主题与文档分布信息推断主题的意义，弥补只分析关键词带来的不足。

技术领域

本发明涉及大数据信息处理与分析领域，具体地，涉及一种大数据背景下在线评论文本最佳主题提取系统和方法。

背景技术

近年来，随着计算机和通信技术的快速发展，人类产生的数据呈指数级增长。其中有大量的数据为非结构化的文本数据，如博客、在线评论、报纸或网络文章、研究论文和专利申请等等。其中，在线评论是一种重要的用户生成内容，它以定性的方式描述了用户使用在线产品和服务的过程及体验。各个领域的人们期待从这些数据中发现有用的信息，了解使用者的偏好及需求。然而，由于在线评论文本数据量大、非结构化、多语言等特征，并存在大量噪声，仅通过人工定性分析存在不小的难度。因而，急需更高效且有效的方法从大量评论文中提取高质量有价值的信息。

文本挖掘也称“文本分析”，是使用计算机通过机器学习、自然语言处理等方法对大量定性或非结构化文本数据进行分析以便生成高质量信息的过程或实践。主题提取研究也称为主题建模研究，是文本挖掘的一种高级应用，主要目的是从大量非结构化文本语料中提取潜在语义或主题。隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)是一种最先进的主题建模工具，常运用于执行主题识别任务，通过计算潜在的主题，在线评论的定性分析就可以量化。

虽然，LDA是目前最为有效的主题建模工具，但其算法复杂、流程环节多，其研究结果受众多因素影响。传统的LDA主题研究因其对文本数据利用不充分、主题稳定性差而大受研究人员诟病。在在线评论领域，LDA研究方法也未能发挥其应有的作用。因此，如何利用LDA构建合理的主题模型、优化流程与方法，从大量非结构化在线评论中挖掘清晰、有意义的主题就显得尤为重要。

发明内容

本发明所要解决的技术问题是提供一种大数据背景下在线评论文本最佳主题提取系统和方法。

本发明系统包括文本数据采集模块、文本数据抽取模块、文本预处理模块、词频统计模块、文本规范化模块、文本向量化模块、主题提取模块。

所述的文本数据采集模块用于采集各互联网资源网站中的评论信息，构成在线评论文档集合。

所述的文本数据抽取模块用于加载在线评论文档集合，判断文件格式，并根据文件格式从文件中抽取文本信息，生成在线评论语料库，并输出到文本规范化处理模块和词频统计模块。

所述的文本预处理模块用于对文本抽取模块所抽取的在线评论文本进行语言检测、文本清洗和词语切分。文本预处理模块首先对输入的文本数据进行语言编码检测与筛选；接着实施文本清洗，删除标点符号、换行符、Email等特殊符号；最后将评论文本分割为单个单词，生成单词集合，并将结果输出到词频统计模块和文本规范化模块。

所述的词频统计模块用于接收从文本预处理模块输出的单词集合，统计每个单词出现的次数或频率，即单频。

所述的文本规范化模块用于根据词频统计模块统计得到的单频，对文本预处理模块输出的单词集合进行去停止词、去极高频与极低频词，然后进行形词形转换处理，只保留动词、名词、形容词和副词，得到新的单词集合，并输出到文本向量化模块。

所述的文本向量化模块以词频统计模块输出的单频结果为依据，从文本规范化模块处理后的单词集合中构建单词词典，并计算独立单词数；同时构建语料库向量，对每个单词进行编号，统计单词在每条评论中的分布情况，最后将单词词典和语料库向量输出到主题提取模块。