[发明专利]一种一致性数据采集方法和系统

说明书

本发明涉及一种一致性数据采集方法和系统，所述方法包括：步骤S1：采集前端采用对应的采集方式采集监管数据；步骤S2：将采集到的数据按照第一方式保存在数据存储单元中；步骤S3：报送单元按照第二方式获取数据；步骤S4：监管单元基于步骤S3获取的数据进行数据处理。本发明通过物理采集一致性和非语义一致性判断，能保障数据获取的准确性、公平性、安全性和一致性，同时还能保障数据处理效率。

【技术领域】

本发明属于数据处理技术领域，尤其涉及一种一致性数据采集方法和系统。

【背景技术】

物联网是在计算机互联网的基础上，把任何物品与互联网相连接，进行信息交换和通信，以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络。而网络数据传输技术在各个行业普遍使用，某些时候需要对网络数据进行监管，有时在对数据进行跨行业或跨地区传输的监管过程中，由于行业或地区政策，导致监管原则方法法规不匹配，造成无法监管的现象。基于物联网而进行数据采集的方式，能够对各个行业的行业数据进行后端处理；例如：在公积金行业中，还没有很好的监管方法，某些时候需要对网络数据进行监管，有时在对数据进行跨行业或跨地区传输的监管过程中，由于行业或地区政策，导致监管原则方法法规不匹配，造成无法监管的现象。又例如：银行领域中包含有外汇业务，按照相关规定，银行需要将各自的外汇交易数据上报至国家外汇管理系统。国家外汇管理系统对外汇数据进行监管，并对上报的外汇数据具有一定要求，需要外汇数据上报满足及时性、准确性及完整性。为了确保满足相关要求，各个银行均开发了报送监管系统，以对待上报的外汇数据进行检查并上报。但是现有的数据采集方法固化，采集前端往往采用比较原始的方式被动的进行采集方式，采集内容也会因为采集方式不同而改变，不同的监管需求对应大量的重复数据；例如：在发现监管需求发生变化后，人为的作采集方式的变化；另外一个更为严重的问题是，数据采集缺乏一致性，数据的采集具有很大的主观性，导致监管实际效果差；那么如何使得数据内部一致也就是数据实质和采集到的数据一致，数据获取方式保障数据内容不产生变化，如何保障采集数据和最终的处理需求一致，如何充分领用重复数据，如何使得处理流程每个节点及其对应的用户一致，如何保障数据获取范围和用户功能一致，均是需要解决的问题，这涉及了数据安全，数据获取架构，数据利用等多个方面的内容。针对现有技术中存在上述问题，本发明通过物理采集一致性和非语义一致性判断，能保障数据获取的准确性、公平性、安全性和一致性，同时还能保障数据处理效率；具体包括：(1)通过在采集终端中选择一个采集终端接收采集任务，经过整体监控处理需求来整体决定采集任务的完成方式，从而大大的提高了采集任务处理效率降低了重叠度；(2)每个采集终端仅能够通过汇总的采集方式是否能够满足监管需求任务，而不能够得知其他采集终端的情况，通过采集任务的反复下达最终使得下达成功，且监管单元本身也不能够了解到因为其他监管任务而导致的业务终端采集情况，从而从架构上保障了数据的安全性；同时，监管单元也能够根据下达次数了解到采集难度；(3)使得通过数据存储单元提供的数据集使得采集到的数据能够满足不同的监管需求，从而提高了数据的复用度，提高了数据采集的效率；(4)设置了科学的一致性条件减少机制和精确调整机制，降低对采集份数的要求，使得在不增加过多通信开销和保障安全性的基础上，大数据的重复利用成为可能。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种一致性数据采集方法和系统，

步骤S1：采集前端采用对应的采集方式采集监管数据；

步骤S2：将采集到的数据按照第一方式保存在数据存储单元中；

步骤S3：报送单元按照第二方式获取数据；

步骤S4：监管单元基于步骤S3获取的数据进行数据处理。

进一步的，第一方式不同于第二方式而采用直接精确查询获取数据。

进一步的，采集终端的采集方式可根据监管需求来动态调整。

进一步的，采集前端的工作是并行的。