[发明专利]基于大数据的创新创意标签自动标注方法及系统

说明书

本发明公开了基于大数据的创新创意标签自动标注方法及系统，所述方法包括：使用搜狗语料库训练Word2vector和LDA得到训练结果集。将用户浏览页面的文档数据进行分词、去除停用词和词过滤处理。将预处理的文档数据，通过使用改进的TextRank算法Word2vector相结合计算出来源于本文数据的标签。并且将预处理的文档通过LDA计算得出关于文档数据主题的标签。通过生成标签云的方式实现可视化，并且将所有的本文标签词语在文档数据中标注出来，方便用户进行阅读和发现重点内容部分。

技术领域

本发明涉及基于大数据的创新创意标签自动标注方法及系统。

背景技术

随着互联网的快速发展与普及，信息呈爆炸式增长，使得互联网上积累了大量的信息。同时互联网用户不仅是互联网内容的浏览者，也在互联网创造各种信息，于是导致互联网信息形式多样化，这给信息筛选造成很大的难度。互联网信息中以文字为载体的信息占了很大的比例，信息量的增多与结构的混乱使人们在查找信息的过程中有了更多的参考性，信息的覆盖率更为全面，涉及人们生活的方方面面，极大地便利了人们的生活，然而大量的信息容易使人类陷入到无从选择的地步，从大量的信息中快速选出有效信息并不是一件容易的事情。

企业在进行创新工作时，应用大数据作为分析和计划的基础，需要分辨和查看分析有价值的数据。如何充分利用大数据并且快速有效获得企业所关注主题的相关数据，并且实现标注关键数据，排除杂乱无用的信息，使企业注意力集中在更有价值并且重要的信息上，是当前创新的难点，文本标注在这样的背景下应运而生。文本标注是指使用若干个具有专指性且能反映文本主题的词语或短语，这些词语或短语通常称为标签，读者通过阅读这些标签能够快速了解文本主题，从而判断是否为自己感兴趣的文本。

文本自动标注是随着互联网发展起来的一门新兴的研学科，它衍生自信息抽取和文本分类技术，并结合了信息检索以及协同过滤等方向的研究方法。近年来，发展起来的文本自动标注技术有基于用户的社会化标注、多标签分类标注、关键词提取标注；

上述介绍了目前文本标注的主要方法。其中，基于用户的社会化标注在系统服务初期，由于没有过往的数据提供参考，存在冷启动的问题；多标签分类标注方法大多是基于有监督学习的算法，需要大量的人工标注的数据集作为训练集，人工标注数据集不仅费时费力，还存在很大的主观性。

发明内容

为了解决现有技术的不足，本发明提供了基于大数据的创新创意标签自动标注方法及系统，其具有采用关键词提取的方法标注文本，属于无监督学习的范畴，无需人工标注数据集的效果。

基于大数据的创新创意标签自动标注方法，包括：

步骤(1)：模型训练：

使用语料库对文本深度表示模型Word2vector进行训练，训练后得到语料库中所有词语和所有词语对应的向量模型文件，即得到训练好的Word2vector模型；

使用语料库对文档主题生成模型LDA进行训练得到LDA结果集和训练好的LDA模型，所述LDA结果集包括若干个主题，每个主题包括属于所述主题的词语和词语属于所述主题的概率；

步骤(2)：使用中科院ICTCLAS分词系统对用户当前浏览页面的数据文档进行分词操作，然后去除停用词；得到预处理后的数据文档；

步骤(3)：生成本文标签和主题标签；

步骤(4)：实现对最终的本文标签和主题标签的可视化。

所述步骤(2)的停用词包括使用频率查过设定阈值的词和无实际意义的词。

所述无实际意义的词包括语气助词、副词、介词和连词。

所述去除停用词的步骤包括：在分词处理后，对词性进行标注，保留名词、动词和形容词，过滤掉其余词性的词，同时还需要过滤掉使用频率超出设定阈值的词。