[发明专利]一种对半结构化文档集进行文本挖掘的方法

摘要

本发明属于智能信息处理技术，具体涉及一种对半结构化文档集进行文本挖掘的方法。本发明针对现有的文本挖掘处理半结构化文档集存在的挖掘效果差的缺陷，提出了一种针对半结构化文档的结构链接向量模型的挖掘方法。它能够综合利用半结构化文档中的字词信息、结构信息与链接信息，并以统一的数学模型进行表示。采用该模型对半结构化文档集进行文本挖掘，由于充分的利用了半结构化文档中的结构信息与链接信息，挖掘效果大大改进。本方法可广泛地应用于智能信息处理。

主权项

1.一种对半结构化文档集进行文本挖掘的方法，包括以下步骤：第一、读入文档，并对文档进行结构分析，分别判断文档各节点是否在结构树中已存在，如果结构树中还没有该节点信息，则需要给结构树添加该节点信息，并给节点一个唯一标识号；第二、如果当前分析的节点包含子节点，则继续分析其第一个子节点，直到不包含子节点的数据节点；如果当前节点为数据节点，则对数据节点的文字段进行分词，并根据所处的节点位置，形成结构向量的一个分量；第三、如果该文字段包含链接信息，则读入其链接资源，并获取其链接资源的结构向量；第四、分析器继续找其下一个兄弟节点进行分析，如果已不存在下一个兄弟节点则向上层回溯，找其父节点的下一个兄弟节点，直到文档分析结束；第五、将这一过程中的所有结构向量的分量组合成为该文档的结构向量，将链接资源的结构向量拼合成当前文档的链接向量，最后形成当前文档的结构链接资源，输入到挖掘模块，进行文本的挖掘分析。