[发明专利]一种网络短视频信息收集方法及装置

权利要求书

1.一种网络短视频信息收集方法，其特征在于，包括：

以脚本方式获取网络短视频的HTML网页文档以及获取待查找的目标信息；

将所述网页文档转化为DOM树结构；

使用xpath定位方法，在所述DOM树结构中定位包含所述目标信息的目标节点，得到根节点到目标节点的初始路径；

其中，所述初始路径由节点名称按照根节点至目标节点的层级依次组成；

根据节点信息，判断所述目标节点是否为全局唯一节点；

如果所述目标节点是全局唯一节点，则将所述初始路径进行精简，以形成表示目标节点的节点信息的最终路径；

如果所述目标节点不是全局唯一节点，则在初始路径上确定全局唯一节点；

将所述全局唯一节点至目标节点的节点信息按照层级组成最终路径；

按照所述最终路径获取所述目标信息对应的目标数据进行存储。

2.根据权利要求1所述的网络短视频信息收集方法，其特征在于，所述根据节点信息，判断目标节点是否为全局唯一节点包括：

判断目标节点的节点信息是否与其他节点是否存在部分或者全部相同；

如果存在部分或全部相同，则所述目标节点不为全局唯一节点；

如果目标节点的节点信息与其他节点的完全不同，则目标节点为全局唯一节点。

3.根据权利要求1所述的网络短视频信息收集方法，其特征在于，所述如果所述目标节点不是全局唯一节点，则在初始路径上确定全局唯一节点包括：

如果所述目标节点不是全局唯一节点，则在初始路径上确定所述目标节点的父节点是否为全局唯一节点；

如果所述父节点不是全局唯一节点，则重复父节点的父节点是否为全局唯一节点的步骤，直至在所述初始路径上找到全局唯一节点。

4.根据权利要求3所述的网络短视频信息收集方法，其特征在于，在确定全局唯一节点之后，所述网络段视频收集方法还包括：

判断是否存在亲兄弟节点与所述目标节点重复，使得所述目标节点不为全局唯一节点。

5.根据权利要求4所述的网络短视频信息收集方法，其特征在于，将所述全局唯一节点至目标节点的节点信息按照层级组成最终路径包括：

当存在亲兄弟节点与所述目标节点重复时，则确定目标节点在重复的亲兄弟节点中的顺序；

将全局唯一节点至目标节点的节点信息按照节点信息组成精简路径；

将所述精简路径最后添加目标节点在重复的亲兄弟节点中的顺序。

6.根据权利要求1-5任一项所述的网络短视频信息收集方法，其特征在于，节点信息包括：节点名称、节点属性名称以及节点属性值。

7.根据权利要求6所述的网络短视频信息收集方法，其特征在于，形成表示目标节点的节点信息的最终路径包括：

将目标节点的节点名称、节点属性名称以及节点属性值按照顺序依次组成所述目标节点的最终路径。

8.根据权利要求1所述的网络短视频信息收集方法，其特征在于，按照所述最终路径获取所述目标信息对应的目标数据进行存储包括：

按照所述最终路径获取目标信息对应的目标数据；

将目标数据中的音视频数据存储至对象存储服务器中；

将目标数据中的字符数据存储至MySQL数据库中；

根据目标数据对网络短视频创作者的发表信息进行统计；

建立多个字段下表示多个网络短视频创作者发表信息以及对应的统计情况的数据表。

9.根据权利要求1所述的网络短视频信息收集方法，其特征在于，在按照所述最终路径获取所述目标信息对应的目标数据进行存储之后，所述网络短视频信息收集方法还包括：

按照所述数据表中各个网络短视频创作者，每个字段下发表信息以及发表信息的统计情况，对网络短视频创造者创造的短视频进行评分；

按照频分高低，对所有短视频进行排序。

10.一种网络短视频信息收集装置，其特征在于，包括：

获取模块，用于以脚本方式获取网络短视频的HTML网页文档以及获取待查找的目标信息；

转化模块，用于将所述网页文档转化为DOM树结构；

初始定位模块，用于使用xpath定位方法，在所述DOM树结构中定位包含所述目标信息的目标节点，得到根节点到目标节点的初始路径；

其中，所述初始路径由节点名称按照根节点至目标节点的层级依次组成；

判断模块，用于根据节点信息，判断所述目标节点是否为全局唯一节点；

路径精简模块，用于如果所述目标节点是全局唯一节点，则将所述初始路径进行精简，以形成表示目标节点的节点信息的最终路径；

确定模块，用于如果所述目标节点不是全局唯一节点，则在初始路径上确定全局唯一节点；

组成模块，用于将所述全局唯一节点至目标节点的节点信息按照层级组成最终路径；

存储模块，用于按照所述最终路径获取所述目标信息对应的目标数据进行存储。