[发明专利]政务系统数据清理方法和政务融合系统

说明书

本发明提供了一种政务数据清理方法和政务融合系统，该方法包括：针对任一政务服务器，计算每个文本的摘要，将文本的摘要发送至云服务器；云服务器接收每个政务服务器发送的文本的摘要，针对任一文本，存储文本的摘要和文本对应的政务服务器的标识信息；政务服务器接收用户的上传文本或下载文本的请求，请求中包含目标文本的摘要；政务服务器向云服务器发送确认请求消息，确认请求消息中包含目标文本的摘要；云服务器通过目标文本的摘要对确认请求进行响应；政务服务器根据云服务器的响应，处理用户的上传文本或下载文本的请求。本发明能够提高政务融合系统的数据质量。

技术领域

本发明属于数据预处理技术领域，尤其涉及一种政务系统数据清理方法和政务融合系统。

背景技术

政务数据开放共享已经成为时代发展的必然趋势，在政务数据开放共享的过程中，数据的质量问题是影响数据价值的关键因素之一。

现有的政务系统，如民政部的婚姻登记系统、殡葬管理系统、儿童福利系统和流浪救助等系统，随着信息化的发展，政务数据经历了多次开发甚至迁移整合等，造成系统数据质量较差，如存在大量重复数据、不一致的数据等。以及，多个政务相关的系统需要进行数据的交互和融合，每个政务系统分别进行数据的存储，造成大量的冗余数据。

如何提高政务系统的数据质量，减小政务数据的存储压力，是现有技术急需解决的问题。

发明内容

有鉴于此，本发明提供了一种政务数据清理方法及政务融合系统，能够提高政务系统的数据质量。

本发明实施例的第一方面提供了一种政务数据清理方法，该方法应用于一种政务融合系统，所述政务融合系统包括云服务器和多个政务服务器，每个政务服务器对应一种政务系统，每个政务服务期存储有多个文本，该方法包括：

针对任一政务服务器，计算每个文本的摘要，将所述文本的摘要发送至云服务器；

所述云服务器接收每个政务服务器发送的文本的摘要，针对任一文本，存储所述文本的摘要和所述文本对应的政务服务器的标识信息；

所述政务服务器接收用户的上传文本或下载文本的请求，所述请求中包含目标文本的摘要；

所述政务服务器向所述云服务器发送确认请求消息，所述确认请求消息中包含所述目标文本的摘要；

所述云服务器通过所述目标文本的摘要对所述确认请求进行响应；

所述政务服务器根据所述云服务器的响应，处理所述用户的上传文本或下载文本的请求。

在一种可能的实现方式中，每个政务服务器通过相同的哈希算法计算每个文本的摘要，在所述云服务器接收每个政务服务器发送的文本的摘要之后，该方法还包括：

若存在至少两个相同的摘要，则保留其中的任意一个摘要；

或，获取每个政务服务器的存储空间信息，根据每个政务服务器的存储空间信息，保留其中的一个摘要。

在一种可能的实现方式中，针对任一政务服务器，在计算每个文本的摘要之前，该方法还包括：

计算所有文本中任意两个文本的相似度，对于相似度大于等于预设阈值的两个文本，保留其中的一个文本。

在一种可能的实现方式中，所述计算所有文本中任意两个文本的相似度包括：

针对任一文本，获取所述文本对应的带有TF-IDF权重的向量；

计算任意两个文本的向量的余弦相似度，得到所述任意两个文本的相似度。

在一种可能的实现方式中，若第一政务服务器接收用户的上传文本的请求，则该方法包括：