[发明专利]一种基于云计算分布式网络视频数据挖掘采集系统

说明书

本发明提供一种基于云计算分布式网络视频数据挖掘采集系统，包括互联网大平台，互联网大平台连接有数据采集模块，数据采集模块连接有数据预处理模块，数据预处理模块连接有管理调度模块，管理调度模块连接有终端设备，本发明：通过设有的数据采集模块，爬虫或开放API采集数据将爬取的信息传至接收数据并通过发送请求发送到资源解析处，资源解析将信息中的时间、音频、视屏和位置信息进行分类别收集，解析后的信息发送到统计站进行统计，敏感信息剔除后保留在存储箱内部，设有的数据预处理模块，将获取的数据进行解码处理，管理调度模块将处理后的数据进行分类统计，最终分布存储。

技术领域

本发明涉及数据挖掘技术领域，具体为一种基于云计算分布式网络视频数据挖掘采集系统。

背景技术

数据挖掘又译为资料探勘、数据采矿。是一种透过数理模式来分析企业内储存的大量资料，以找出不同的客户或市场划分，分析出消费者喜好和行为的方法。它是数据库知识发现中的一个步骤。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性的信息的过程。主要有数据准备、规律寻找和规律表示3个步骤。现有的数据挖掘任务在对于数据的海量发掘过程中存在的异常、敏感类信息无法进行筛选和剔除，数据种类无法进行区分再统计，使得数据无法有效的整理。

发明内容

本发明的目的在于提供一种基于云计算分布式网络视频数据挖掘采集系统，旨针对现有的数据挖掘任务在对于数据的海量发掘过程中存在的异常、敏感类信息无法进行筛选和剔除，数据种类无法进行区分再统计，使得数据无法有效的整理的问题。

为实现上述目的，本发明提供如下技术方案：一种基于云计算分布式网络视频数据挖掘采集系统，包括互联网大平台，所述互联网大平台连接有数据采集模块，所述数据采集模块连接有数据预处理模块，所述数据预处理模块连接有管理调度模块，所述管理调度模块连接有终端设备。

为了使得爬取网络数据，作为本发明的一种优选方案：所述数据采集模块包括爬虫或开放API采集数据，所述爬虫或开放API采集数据连接有接收数据，所述接收数据连接有发送请求，所述接收数据连接有资源解析，所述发送请求连接于资源解析，所述资源解析连接有存储箱。

为了使得分类信息数据，作为本发明的一种优选方案：所述资源解析分别连接有时间采集、音频采集、视屏采集和位置采集，所述时间采集、音频采集、视屏采集和位置采集均连接有统计站，所述统计站连接有评估部。

为了使得进行保留筛选的数据，作为本发明的一种优选方案：所述评估部连接有垃圾桶，所述评估部连接有传输站，所述传输站连接于存储箱。

为了使得转换收集的数据，作为本发明的一种优选方案：所述数据预处理模块包括解码单元、噪音清洗和分辨率，所述噪音清洗连接QNC模块。

为了使得对数据进行进一步处理，作为本发明的一种优选方案：所述解码单元包括MUC处理器，所述MUC处理器连接有数据接收端口，所述MUC处理器连接有解码处理器，所述数据接收端口连接于解码处理器内部，所述解码处理器双向连接有模/数转换器，所述解码处理器连接有数/模转换器。

为了使得对挖掘的信息进行分类，作为本发明的一种优选方案：所述管理调度模块包括数据备份、类别统计、站点标记和分布式存储，所述数据备份、类别统计和站点标记均与分布式存储连接，所述分布式存储连接有拷贝端口。

为了使得对挖掘的数据进行应用，作为本发明的一种优选方案：所述终端设备连接有管理员调度。

为了使得各模块相互传输，作为本发明的一种优选方案：所述数据采集模块、数据预处理模块、管理调度模块和终端设备和互联网大平台之间通过局域网网络传输连接。

为了使得电子设备运行，作为本发明的一种优选方案：所述数据采集模块、数据预处理模块、管理调度模块、终端设备和管理员调度均与外接电源电性连接。