[发明专利]一种网页数据结构化解析方法和装置

权利要求书

1.一种网页数据结构化解析方法，其特征在于，包括步骤：

步骤A，采集一领域同一类型的模板网页多个，对采集到的模板网页的数据进行正文提取和按预设规则进行结构化解析，将提取的正文和对应的解析后的数据作为训练语料；

步骤B，提取该领域多种类型的模板网页各多个，从中获取结构化项名及其在不同网页中的各种别名；

步骤C，根据所述训练语料，训练解析模型,包括：

构建解析模型θ(N，M，A，B，p，q)，其中，N为状态数目，设状态集合为S＝{s₁，s₂，...，s_N}，为模型的隐含状态；M为观察符号数目，设观察符号集合为E＝{e₁，e₂，...，e_M}；A为状态转移矩阵，简记为a_ij，表示在t时刻，状态s_i的条件下，t+1时刻状态为s_j的概率；B为观察符号概率矩阵，其中简记为b_ij，表示当处于状态s_i时观察到符号e_j的概率；为初始状态概率矢量，其中简记为p_i，表示初始选取的状态为s_i的概率；为结束状态概率矢量，其中简记为q_i，表示随机过程结束于状态s_i的概率；

根据所述训练语料，使用统计的方法计算出所述解析模型的参数A、B、p、q：

a_ij＝p(s_j|s_i)≈C(s_i，s_j)/C(s_i)

其中C(s_i，s_j)表示状态s_i下一个状态是s_j的次数；C(s_i)表示状态s_i出现的次数；

b_ij＝p(e_j|s_i)≈C(e_j，s_i)/C(s_i)

其中C(e_j，s_i)表示e_j作为状态s_i出现的次数；C(s_i)表示状态s_i出现的次数；

p_i＝p(s_i|t＝1)≈C(s_i|t＝1)/C(r)

其中C(s_i|t＝1)表示初始t＝1时刻s_i的次数；C(r)表示训练语料的句子数；

q_i＝q(s_i|t＝L)≈C(s_i|t＝L)/C(r)

其中C(s_i|t＝L)表示随机序列最后时刻L终止于s_i的次数；C(r)表示训练语料的句子数；

步骤D，对待解析的网页数据进行解析模型解码，并与所述结构化项名及其别名进行比对，获得结构化数据。

2.根据权利要求1所述的网页数据结构化解析方法，其特征在于，所述步骤A之前还包括步骤：预先使用htmlunit编写解析规则；

所述步骤A中对采集到的模板网页的数据进行正文提取和按预设规则进行结构化解析，包括步骤：对采集的模板网页的数据使用Content Extractor-master算法进行正文提取得到网页正文，按所述解析规则进行结构化解析。

3.根据权利要求1所述的网页数据结构化解析方法，其特征在于，所述步骤B中提取该领域多种类型的模板网页各多个，包括步骤：

分别构建多种类型的模板网页的DOM树，将各个DOM树中的节点名称按广度遍历加入各个队列，生成各个DOM树节点队列，对所有DOM树节点队列，按队列顺序取出节点名称进行比较，相同的加入DOM分类树节点中，不同的建立树分叉然后加入，得到对应各分类网页的DOM树模板网页。