[发明专利]一种海量数据源智能识别系统

说明书

本发明提供一种海量数据源智能识别系统，包括数据接入子系统、资源管理子系统、资源分析子系统、表及信息项管理子系统、接口资源子系统，通过数据获取、数据清洗等为实现后续的数据分析及数据应用、数据决策分析提供了保障，满足的了当前对海量数据分析的基础要求。各子系统可单独部署在独立的服务器上，也可部署在同一服务器上，系统可进行多级扩展，部署后的软件需进行简单的转发地址、数据库地址和相应路径的配置，并需要保证客户端软件的运行环境已安装Java虚拟机相应的数据库软件环境。

技术领域

本发明属于数据挖掘与数据分析技术领域，具体涉及一种海量数据源的智能识别系统。

背景技术

无论是人工智能、虚拟现实，还是自动驾驶等高新技术，其背后的原动力都来自对数据的深刻理解和应用。比如说击败世界围棋冠军的Alphago，其背后是机器深度学习了超两亿的围棋棋谱数据，而谷歌也是建立了涵盖几十亿音频的数据库来做语音识别。另外，移动互联网时代数字化进程加快，“数据”包含的信息量增大，维度变广，从图像、声音等富媒体数据，逐渐过渡到人的动作、姿态、行为轨迹，再加上地理位置、天气、社会群体行为等等，以往对数据的处理已经难以满足“数据”本身发展的速度。

发明内容

本发明的目的在于提供一种海量数据源智能识别系统，自动获取网络上的海量数据，并根据数据特征，智能识别数据的源头类型。

本发明的技术方案如下：

一种海量数据源智能识别系统，其特征在于，包括数据接入子系统、资源管理子系统、资源分析子系统、表及信息项管理子系统、接口资源子系统，其中：

(1)数据接入子系统：是在整个通信网内部接入设备之间建立起的一套有效的流程管理交互平台，以便理顺不同部门以及部门上下级之间的协作关系，规范和优化工作流程，实现电路开通业务的流程化、自动化和规范化,提高开通接入业务的工作效率；

(2)资源管理子系统：主要是设计数据模型与相应的服务；数据模型的设计需要确定对象、对象类属性的内容、消息连接的方式、系统访问和数据模型的方法等；相应的服务主要是指设计类、对象的存储服务，使对象知道如何存储自己，在问题域子系统和数据管理子系统中建立一座必要的桥梁；

(3)资源分析子系统：在资源存储的基础上，对海量的数据进行相关性分析，如都是18位的数据，我们猜想这一列数据为身份证号信息，依次可以找到资源的每一列属性值，并构建出资源所属的表，再由多个相关联的表构建出合适的数据库；

(4)表及信息项管理子系统：经过数据接入汇聚到原始库中的各单位的数据，由于来源不同、类型多样、传输处理过程繁长，以及数据源本身数据的多样性，需要在数据存储到原始库后对数据的规范性、准确性、一致性和完整性进行校验，经过数据校验，对不符合校验规则的问题数据列入问题数据库，并将问题数据通过接入平台的问题反馈通道反馈给各单位；

(5)接口服务子系统：接口服务子系统作为中间服务系统，一方面要与各服务子系统进行对接，传递定时任务及一些控制指令,同时需要向客户端软件子系统提供脚本控件接口，实现用户界面上的视频调用及控制、历史视频回放等功能。

本发明通过数据获取、数据清洗等为实现后续的数据分析及数据应用、数据决策分析提供了保障，满足的了当前对海量数据分析的基础要求。

具体实施方式

本发明由数据接入子系统、资源管理子系统、资源分析子系统、表及信息项管理子系统、接口资源子系统等五个子系统组成。各个功能子系统的主要作用如下：