[发明专利]一种基于HTML流处理的数据采集方法和系统

权利要求书

1.一种基于HTML流处理的数据采集方法，其特征在于具体步骤如下：通过HTTP协议获取HTML文档数据流之后，利用一些节点来处理传入的数据流，这些节点以树的形式来表示，执行步骤为从树的根节点出发，按深度扩展的顺序往下进行处理，对于同一层的节点按其先后顺序处理；每一个节点都设置有一定的属性；每个节点都传入当前数据流和需要进行存储的数据信息，这些信息不会因为通过其子节点返回之后而改变；通过多线程进行多路并行处理，以及数学概率模型进行下载检验，将处理后的数据保存于存储系统之中。

2.根据权利要求1所述的基于HTML流处理的数据采集方法，其特征在于所述节点分为有返回值和无返回值两类，其中，无返回值的节点包括：

Pattern节点，为父节点，所有的其他节点都作为它的子节点，它本身并不包含任何属性，其他的所有节点都由它派生而来；

Filter节点，把所有的其它节点作为它的子节点，截取上一层数据流中的一部分字符串，作为其子节点的传入数据流，它截取以Head开头，以Tail结尾的字符串，按照Type中的节点截取一段；

Group节点，把所有的其它节点作为它的子节点；它将数据流根据分段标签分段，对于分出的每一段数据流给其子节点的节点处理；

Store节点，其子节点是有返回值的节点，保存继承得到的以及在其子节点返回的数据流，并将其中的内容保存起来；

Open节点，其子节点是有返回值的节点，它打开Url/Intercept节点中截取得到的Url，Open节点选择要打开的Url，需要使用的控制模板选择是否将这个Url保存起来；

Replace节点，可以把所有的其它节点作为它的子节点，用来替换一些特定的字符串；

Repeat节点，把所有的其它节点作为它的子节点，它用来重复执行一定次数的其子节点，次数指定或截取，当指定的次数小于0时，将选用截取的次数；

有返回值的节点的返回值都包括name和value，所得的节点被父亲节点进行处理；有返回值的节点包括：

Intercept节点，是存储数据的的主要节点，它不包含子节点，作用是截取上一层数据流中的一部分字符串，截取部分与Filter节点的作用相同，不同的是这个节点将截取的数据流返回给父节点；

Count节点，不包含子节点，得到输入数据流种特定的字符串的个数；

Merge节点，子节点是有返回值的节点，用来合并这些节点。

3.一种如权利要求1所述的基于HTML流处理的数据采集方法的实施系统，其特征在于，由以下几个部分组成：下载任务列表，线程池，下载器，下载控制模板，解析器以及文件存储系统；

首先，从任务列表中获得一个下载任务，如果任务列表为空，则系统运行结束，否则将任务传输到下载线程池；如果线程池有空闲线程则执行任务，否则任务仍在任务列表中等待，直到线程池有空闲线程为止，线程数量根据运行的具体环境在配置文件中控制；

如果执行任务成功，则将下载器下载的HTTP数据流输入到解析器，解析器由与任务配套的下载控制模板来控制；如果执行任务失败，则将任务返回到下载任务列表中；成功解析的结构化数据被存储到文件存储系统之中；如果是最后一个任务，则系统运行完结。