[发明专利]基于大数据的创新创意标签自动标注方法及系统

权利要求书

1.基于大数据的创新创意标签自动标注方法，其特征是，包括：

步骤(1)：模型训练：

使用语料库对文本深度表示模型Word2vector进行训练，训练后得到语料库中所有词语和所有词语对应的向量模型文件，即得到训练好的Word2vector模型；

使用语料库对文档主题生成模型LDA进行训练得到LDA结果集和训练好的LDA模型，所述LDA结果集包括若干个主题，每个主题包括属于所述主题的词语和词语属于所述主题的概率；

步骤(2)：使用中科院ICTCLAS分词系统对用户当前浏览页面的数据文档进行分词操作，然后去除停用词；得到预处理后的数据文档；

步骤(3)：生成本文标签和主题标签；

步骤(4)：实现对最终的本文标签和主题标签的可视化；

所述步骤(3)的步骤为：

步骤(31)：使用无监督学习的TextRank算法对预处理后的数据文档标注本文标签，并且使用训练好的Word2vector模型，基于向量模型文件计算词与词之间的相关性，利用词与词之间的相关性对本文标签进行修改；生成最终的本文标签；

步骤(32)：使用LDA结果集对预处理后的数据文档进行主题分析，生成主题标签；

所述步骤(31)包括：

步骤(311)：读取预处理的数据文档，对数据文档中每个词的信息进行统计；所述每个词的信息包括：词频、词首次出现的位置、词末次出现的位置和词语总数；

步骤(312)：计算词权重：分别计算词频因子、词位置因子和词跨度因子的值；

词w_i的权重m(w_i)计算公式：

m(w_i)＝tf(w_i)*loc(w_i)*span(w_i)； (1)

其中，tf(w_i)为词w_i的词频因子，loc(w_i)为词w_i的位置因子，span(w_i)为词w_i的跨度因子；

步骤(313)：计算词间距，以句子为单位，如果两个词同时出现在一个句子之中，则两个词的共现次数加1，词间距为共现次数倒数，如果两个词共现次数为0，则两个词的距离无穷大；

步骤(314)：计算词吸引力，将步骤(313)的词间距代入词的吸引力量化公式之中，得出两个词的吸引力量化表示；如果两个词距离为无穷大，则表示两个词吸引力为0，两个词出现与否，不会受到彼此影响；

步骤(315)：计算词之间的相关性，使用训练好的Word2vector模型计算表示相关性大小的余弦值；

步骤(316)：计算词TextRank值：初始化TextRank值为1，将词关系计算结果代入改进后的TextRank公式，设置迭代终止阈值为0.0001，不断使用改进后的TextRank公式迭代，直至结果收敛，从而获得每一个词的TextRank值；

步骤(317)：按照计算的TextRank值由高到低对词进行排序；

步骤(318)：选取排序结果中的前20个词作为本文标签；

在使用语料库对文本深度表示模型Word2vector进行训练过程中，得到包含语料库词语和所有词语对应的向量以后，通过向量相关性对所有词语进行k-means聚类，得到相关性高的词组成的聚簇；通过计算两个词的余弦值确定相关性，余弦值越大相关性越大；

假定词w_i,w_j都是n维向量，则相关性cos(w_i,w_j)计算公式：

进而得到改进后的词关系Conn(w_i,w_j)公式：

Conn(w_i,w_j)＝conn(w_i,w_j)*(1+cos(w_i,w_j))； (7)

词的吸引力量化公式：

conn(w_i,w_j)＝m(w_i)*m(w_j)/r(w_i,w_j)²； (5)

其中，m(w_i)为词w_i的权重，m(w_j)为词w_j的权重，conn(w_i,w_j)反映了拥有不同权重的两个词之间的联系；r(w_i,w_j)表示词w_i和词w_j的间距；

得到改进后的TextRank公式：

其中，TextRank(w_i)表示w_i的重要性，TextRank(w_j)表示词w_j的重要性。