[发明专利]一种异构数据处理系统及方法

说明书

本发明涉及数据处理技术领域，具体地说，涉及一种异构数据处理系统及方法，包括异构数据采集层、数据处理层、应用层、数据采集服务器、实时数据库和数据库，异构数据采集层包括数据采集终端和视频采集终端，数据处理层包括应用服务器和视频服务器，应用层为远程用户端，数据库采用SQL Server服务器。本发明的体系结构能容纳不同地域、不同网络结构,以及在功能上相对独立的信息管理子系统,并且能在不影响生产的基础上对原来的各个子系统的共享信息进行高度整合，通过匹配异构数据层的参数，找到相对应的多数据域处理单元来生成业务对象，使得异构数据层的处理场景得以简化，在数据层开发阶段可避开对多数据域的处理细节，确保了开发的效率。

技术领域

本发明涉及数据处理技术领域，具体为一种异构数据处理系统及方法。

背景技术

随着信息技术的不断发展，政府、企业等信息化程度越来越高，各部门业务系统产生的数据量越来越大，数据结构类型越来越复杂，数据来源也越来也多。经常会面临异构数据层的操作问题。异构数据层是指遵循相同接口的相同或不同实现的一系列数据操作对象的集合。现有技术中，对于异构数据层的操作在框架层进行实现，往往是针对某一数据层编写相应的处理代码，这些代码不断堆积，使得逻辑边界越来越不清晰，相互间的调用也显得混乱，开发效率低下。

发明内容

本发明的目的在于提供一种异构数据处理系统及方法，以解决上述背景技术中提出的某种或某些缺陷。

为实现上述目的，本发明提供如下技术方案：

一种异构数据处理系统，包括异构数据采集层、数据处理层、应用层、数据采集服务器、实时数据库和数据库，所述异构数据采集层包括数据采集终端和视频采集终端，所述数据处理层包括应用服务器和视频服务器，所述应用层为远程用户端，数据库采用SQLServer服务器。

作为优选，异构数据采集层用于处理来自不同采集终端的各种实时数据，并将实时数据进行异构数据集成，数据采集终端和视频采集终端是由各类传感器及视频采集卡多功能硬件设备构成,用于获取现场的实时数字化信息。

作为优选，数据处理层还包括数据过滤，数据过滤的方法包括：

S1：读取异构大数据并按照数据结构拆分得到标准数据；

S2：计算标准数据的误差率；

S3：删除标准数据中误差率大于误差阈值的异常数据后得到过滤后的数据；

S4：将过滤后的数据按照误差率的大小排序；

S5：删除排序后的队列中首尾10％的数据得到过滤结果；

S6：输出过滤结果并输送至应用服务器。

计算标准数据的误差率的子步骤为：

S1：设x1,x2,x3,…,xn为n个标准数据的数据量值,则算术平均值X′为

S2：通过算术平均值X′标准数据的误差率s的公式为

其中，n为大于或等于0的正整数，取值范围不做限制，i取值范围为1-n，x为标准数据的数据量值。

作为优选，差阈值的计算步骤为：设S,S,S,…,S为n个标准数据的误差率,则误差阈值S′为

作为优选，异构数据集成通过本体技术进行数据集成，本体技术通过本体映射在异构数据间建立语义匹配,屏蔽语义异构,用于解决语义异构，本体技术包括单一本体方法、多本体方法和混合方法。

作为优选，数据采集终端的硬件终端包括若干传感器、下位机和串口卡，传感器捕获的各个实时数据和下位机的实时数据通过串口卡的连接传递至数据采集终端，数据采集终端通过网络技术发送至系统的数据采集服务器，串口卡为各种不同类型的异构实时数据。