[发明专利]一种互联网信息分析方法和装置

说明书

技术领域

本发明涉及对由互联网获取的海量信息进行分析方法，具体涉及一种互联网信息分析方法和一种互联网信息分析装置。

背景技术

随着网络信息爆炸式增长，人们对海量的互联网信息进行分析处理的需求也越来越高，利用大规模的搜索引擎以及数据抓取技术，可以获取互联网上的海量信息（由超文本链接标示语言HTML代码构成）。

但是现有的对获取的互联网上的海量信息进行分析的方法，例如利用海量信息获得用户对相关产品的反馈的方法，仅仅是简单地使用准确率低的字段匹配算法或者使用运算复杂度高的语义匹配算法。使用字段匹配算法获得的信息的准确率很低，使用语义匹配算法的运算开销巨大而无法与信息量的快速增加相适应，另外，网络语言所具有的语义不规范的特点进一步增大了使用语义匹配算法的运算复杂度，网络语言所具有的变化极快的特点进一步增大了使用语义匹配算法的算法维护工作的难度，换言之，由于网络语言变化极快，因此使用语义匹配算法时维护人员需要经常性地对算法进行比较大的调整，维护开销和维护难度比较大。因此，亟需能够在保证分析准确率的同时，有效地减小运算开销的方法和系统。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少解决上述部分问题的一种互联网信息分析方法和一种互联网信息分析装置。

本发明提供了一种互联网信息分析方法。该方法包括如下步骤：

预先设置标记数据列表、规则数据列表和关联属性列表；所述标记数据列表包括多个字段标记；所述规则数据列表包括匹配规则以及与每个匹配规则对应的属性；所述关联属性列表包括多个关联列表，每个关联列表对应于一个字段标记并包括与该字段标记对应的属性；

抓取海量的互联网文件，从所述海量的互联网文件中提取出多段正文，将每段正文切分为至少一个片段；

分析所述片段以获取互联网信息，具体包括对每一个片段执行以下操作：判断标记数据列表中是否存在与该片段匹配的字段标记，若是则进一步判断规则数据列表中是否存在与该片段匹配的匹配规则，若是则使用与该片段匹配的字段标记和匹配规则并利用所述关联属性列表筛选对应的属性与字段标记作为获取的互联网信息。

较佳地，所述使用与该片段匹配的字段标记和匹配规则并利用所述关联属性列表筛选对应的属性与字段标记，具体包括：

选择与该片段匹配的字段标记所对应的关联列表；以及对每一个与该片段匹配的匹配规则执行以下操作：判断与该匹配规则所对应的属性是否位于上述所选择的关联列表中，若是则将该属性以及与该属性所在的关联列表相对应的字段标记保存为对应的属性与字段标记。。

较佳地，所述规则数据列表，还包括与每个匹配规则对应的评价参数；所述使用与该片段匹配的字段标记和匹配规则并利用所述关联属性列表筛选对应的属性与字段标记，具体包括：选择与该片段匹配的字段标记所对应的关联列表；以及对每一个与该片段匹配的匹配规则执行以下操作：判断与该匹配规则所对应的属性是否位于上述所选择的关联列表中，若是则将该属性以及与该属性所在的关联列表相对应的字段标记保存为对应的属性与字段标记，同时保存与该匹配规则对应的评价参数。

较佳地，所述抓取海量的互联网文件，具体包括：使用网络爬虫采集海量的HTML源文件。所述从所述海量的互联网文件中提取出多段正文，具体包括：对所述HTML源文件使用正则表达式进行净化和提取正文的操作，从而选取正文。所述将每段正文切分为至少一个片段，具体包括：使用正则表达式将选取的正文按照标点符号进行断句，得到的每一个句子为一个片段。

较佳地，所述判断标记数据列表中是否存在与该片段匹配的字段标记具体包括：使用字段匹配方法，判断标记数据列表中的字段标记是否等于该片段中的一个字段。

较佳地，所述匹配规则为预先设定的匹配算法，包括多个关键词以及不同关键词之间的位置关系。所述判断规则数据列表中是否存在与该片段匹配的匹配规则，包括对每一个匹配算法执行以下操作：判断该片段是否包括该匹配算法中的所述多个关键词，若否则该片段不与该匹配规则匹配，若是则进一步判断所述关键词在该片段中的位置是否符合匹配算法中的位置关系，若否则该片段不与该匹配规则匹配，若是则该片段与该匹配规则匹配。

本发明提供了一种互联网信息分析装置。该装置包括数据库单元、片段获取单元和信息分析单元；