[发明专利]一种异构数据处理系统及方法

权利要求书

1.一种异构数据处理系统，其特征在于：包括异构数据采集层(1)、数据处理层(2)、应用层(3)、数据采集服务器(4)、实时数据库(5)和数据库(6)，所述异构数据采集层(1)包括数据采集终端和视频采集终端，所述数据处理层(2)包括应用服务器和视频服务器，所述应用层为远程用户端，数据库(6)采用SQL Server服务器。

2.根据权利要求1所述的异构数据处理系统，其特征在于：异构数据采集层(1)用于处理来自不同采集终端的各种实时数据，并将实时数据进行异构数据集成，数据采集终端和视频采集终端是由各类传感器及视频采集卡多功能硬件设备构成,用于获取现场的实时数字化信息。

3.根据权利要求1所述的异构数据处理系统，其特征在于：数据处理层(2)还包括数据过滤，数据过滤的方法包括：

S1：读取异构大数据并按照数据结构拆分得到标准数据；

S2：计算标准数据的误差率；

S3：删除标准数据中误差率大于误差阈值的异常数据后得到过滤后的数据；

S4：将过滤后的数据按照误差率的大小排序；

S5：删除排序后的队列中首尾10％的数据得到过滤结果；

S6：输出过滤结果并输送至应用服务器；

计算标准数据的误差率的子步骤为：

S1：设x1,x2,x3,…,xn为n个标准数据的数据量值,则算术平均值X′为

S2：通过算术平均值X′标准数据的误差率s的公式为

其中，n为大于或等于0的正整数，取值范围不做限制，i取值范围为1-n，x为标准数据的数据量值。

4.根据权利要求1所述的异构数据处理系统，其特征在于：差阈值的计算步骤为：设S,S,S,…,S为n个标准数据的误差率,则误差阈值S′为

5.根据权利要求1所述的异构数据处理系统，其特征在于：异构数据集成通过本体技术进行数据集成，本体技术通过本体映射在异构数据间建立语义匹配,屏蔽语义异构,用于解决语义异构，本体技术包括单一本体方法、多本体方法和混合方法。

6.根据权利要求1所述的异构数据处理系统，其特征在于：数据采集终端的硬件终端包括若干传感器、下位机和串口卡，传感器捕获的各个实时数据和下位机的实时数据通过串口卡的连接传递至数据采集终端，数据采集终端通过网络技术发送至系统的数据采集服务器(4)，串口卡为各种不同类型的异构实时数据。

7.根据权利要求6所述的异构数据处理系统，其特征在于：应用服务器、视频服务器与远程客户端之间均通过网络技术进行数据传输，网络技术采用基于TCP/IP或UDP协议的应用服务器与客户端。

8.根据权利要求1所述的异构数据处理系统，其特征在于：实时数据库(5)用于提供高效率数据存储的数据知识库，实时数据库(5)的基本单元为实时事务，实时数据库包括事务模型、并发控制以及内存数据库。

9.根据权利要求8所述的异构数据处理系统，其特征在于：内存数据库用于对查询处理并发控制与恢复的算法和数据结构进行重新设计。

10.一种异构数据处理方法，包括权利要求书1-9任意一项所述的异构数据处理系统，其特征在于：具体包括如下步骤：

S1：通过异构数据采集层(1)中的数据采集终端和视频采集终端对数据和视频信息进行采集；

S2：数据采集终端将采集的信息输送至数据采集服务器(4)进行处理，传送至实时数据库(5)；

S3：实时数据库(5)将数据信息输送至应用服务器进行数据处理，同时视频信息采集终端将视频信息直接传输至视频服务器进行存储；

S4：应用服务器将处理后通过网络技术传送至远程客户端并将数据信息存储至数据库(6)进行存储备份，同时视频服务器将视频信息传送至远程客户端。