[发明专利]一种融合压缩DOM树结构向量的网络行为预测方法

权利要求书

1.一种融合压缩DOM树结构向量的网络行为预测方法，其特征在于包括：

文本语料筛选，用于增强预测的准确性；

词向量模型，用于增强模型说服力，考虑到每个词在文本中的重要程度不同，结合TF-IDF原理，计算每个词的权重，并在引入权重后进行加权平均，最终表示整段文本的特征向量；

压缩DOM树结构向量生成与向量融合，不同类型网站中的网页DOM树在节点使用和整体结构上都具有一定特点，因此可将DOM树的结构转化为向量，并作为辅助条件与文本特征向量融合，构建成最终的融合向量；

将DOM树结构向量初始维度设置为15维，并在此向量中按DOM节点顺序以div标签开始描述节点标签信息，在描述过程中，若在15维内未达到被描述结构的最大深度，则在15维表示完成后终止表示；若在15维内达到最大深度则剩余向量补0，若不在则相应位置置0，根据此规则，将DOM树结构中的其中一条向量表示为：

v＝[x₁,x₂,…,x₁₅]

当多次重复出现相同结构时，可将该结构进行压缩简化表达，则在向量末尾追加一维构成16维向量：

v＝[x₁,x₂,…,x₁₅,num]

将全部向量表示为矩阵形式：

对上述向量进行压缩，得到出现频次最高的前五位，考虑到网页之间的容量差异，将出现频次统一为位次高低形式而不使用比例形式：

[x₁,x₂,…,x₁₅,5]

[x₁₆,x₁₇,…,x₃₀,4]

[x₃₁,x₃₂,…,x₄₅,3]

[x₄₆,x₄₇,…,x₆₀,2]

[x₆₁,x₆₂,…,x₇₅,1]

最后将上述向量进行扁平化压缩：

[x₁,…,x₁₅,5,x₁₆,…,x₃₀,4,x₃₁,…,x₄₅,3,x₄₆,…,x₆₀,2,x₆₁,…,x₇₅,1]。

2.根据权利要求1所述的一种融合压缩DOM树结构向量的网络行为预测方法，其特征在于：在文本语料筛选中，将以下信息作为网页中的语料文本：title网页标题信息标签1个，keywords网页关键词标签1个，description网页详细描述标签1个，a网页链接标签50个。

3.根据权利要求1所述的一种融合压缩DOM树结构向量的网络行为预测方法，其特征在于：为了增强模型说服力，考虑到每个词在文本中的重要程度不同，结合TF-IDF原理，计算每个词的权重，并在引入权重后进行加权平均，最终表示整段文本的特征向量；

首先按如下公式计算词频：

式中n_w为特征词w在文本中出现的次数，N为文本中特征词总数，则T_F用来衡量特征词在文本中的重要程度；n_k指第k个特征词在文本中出现的次数；

然后计算逆文本概率：

式中D为文本总数，Q为包含特征词的文本数，则I_DF用于衡量特征词在所有文本中的重要程度；

结合上述两式可得，特征词权重为：

f_TF-IDF＝T_F×I_DF

因此，引入词权重的文本特征向量表示方法为：

其中，v(t_i)表示词t_i的词向量，f(t_i)表示由特征词权重公式计算出的词t_i的权重，V(D)表示D文本的特征向量，n表示文本的词数量。