[发明专利]一种基于采集筛选分发大数据管理分析系统

摘要

本发明涉及一种基于采集筛选分发大数据管理分析系统，对企业数据进行采集、筛选、分发、管理和分析。本发明系统中，企业的一整套需求都包括在里面，企业无需购买各种各样的软硬件来完成不同的功能，整体性好，价格不贵，系统兼容性强，性能稳定，维护起来比较简单，数据安全性比较高，具有很好的实用性，和企业的实际情况比较贴合。数据变化灵活，可自定义调整的地方比较多，对各种企业需求都可以获得满足，数据集中存储有利于数据保护和整理分析，对企业无论是在本地还是外地都可以发送信息完成，具有一定的便利性。

主权项

一种基于采集筛选分发大数据管理分析系统，对企业数据进行采集、筛选、分发、管理和分析，其特征在于：其实现原理是：通过网站公开的信息对网站进行信息获取，对有搜索引擎的网站利用网站本身搜索引擎帮忙加以搜索企业想要的信息，信息采集通过信息采集服务器完成，通过顺序和计划任务对网站逐一信息收集，排版，将数据放置到excel里面和数据库里面，数据存放由专门放置数据的数据库服务器完成，数据库服务器中有大概几十个t的容量，通过mysql数据库进行数据湖的形成，形成后结果利用sql标准语言对多次筛选，筛选的时候需要通过运算服务器来完成多次筛选运算，由于是上亿次分解筛选，对该服务器的要求比较高，最终可以自定义筛选出企业想要的内容，这些内容会分发到企业各部门负责人的邮箱、qq、微信中；分发通过邮件服务器、qq分发服务器和微信分发服务器完成；分发完毕以后由管理服务器对分发的结果进行定时判断信息是否被充分利用，信息有一定时效性，当时对方打开了信息后会程序会自动判断在何时打开，打开后会有判断是否有用和原因的填写，这些都是由网站程序、html、php、c++语言来完成编写的；整个服务器群落为互联网分布式服务器和局域网分布式服务器组成。