[发明专利]一种基于大数据的网络数据采集系统

摘要

本发明公开了一种基于大数据的网络数据采集系统，涉及数据采集技术领域，该系统包括：网络数据采集模块，用于采集一种或多种不同类型的网络数据；规则模块：用于定义网络数据识别规则和解码规则；剔除模块：对无法识别的网络数据进行拦截剔除；多类型数据转换模块，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；存储模块，对通用网络数据进行存储。这样的系统可以采集多种类型的网络数据，使采集的网络数据种类增多，不再受到局限，网络数据根据统一的转换规则转换为处理器能识别的通用网络数据，便于处理器识别，且网络数据通过存储模块进行存储，便于处理器随时调用。