[发明专利]一种基于财政大数据的分布式内容查重预警系统

说明书

本发明公开了一种基于财政大数据的分布式内容查重预警系统及方法，包括项目申报系统、内容预警模型中心、内容分析引擎、大数据管理平台、信息推送中心、任务调度中心。本发明优点在于基于大数据管理系统，建立统一的申报项目库、工商库；基于分布式计算技术的内容分析引擎，支持基于项目库与工商库的大规模申报内容数据的快速查重分析，可以利用多服务器算力进行快速计算，快速的计算出申报内容的相似值，系统实用性强、查重效率高、结果安全可靠。

技术领域

本发明具体涉及一种基于财政大数据的分布式内容查重预警系统。

背景技术

随着信息化产业的不断发展，财政部门建设了一批专项资金信息管理应用系统，实现了纸质化办公向网上办公的跨越式转变，提升了办公效率，但随着政府对企业的扶持力度不断加大，财政部门需要处理大量的企业扶持专项资金申报，审核大量的申报内容，为了应对该问题，系统需要更加的智能化，可对申报内容进行查重分析，根据分析结果向管理人员预警；由于政府信息化建设缺少统一的规划，多采用独立、分散建设的方式，信息资源不能有效的共享利用，难以通过简单的升级来解决数据整合的问题。

随着大数据技术与分布式计算技术的发展，建立统一的项目申报大数据管理平台，成为解决专项资金申报项目内容多有雷同的解决方案，现有的财政信息预警平台产品能够完成对申报项目内容查重预警，通过设定内容相似度预警阀值决定是否发送预警通知，主要存在以下问题：1）面对大规模的数据内容，单机服务器计算算力有限，最简单的长度只有20个字符的两个数据循环100w次计算这两个数据的相似度耗时>=4000ms，假设我们一天需要比较100w次，光是比较100w次的数据是否重复就需要4s，就算4s一个文档，单线程一分钟才处理15个文档，一个小时才900个，如果一个申报内容文本文档可能达到几百兆大小，效率还会有下降；2）数据存储相对分散，数据没有集中存储在统一的数据平台、信息资源不能有效的共享利用，导致申报内容数据需要各级财政专项平台进行重复的内容查重运算；3）未能建立统一的工商大数据库，由于申报单位法人或股东名下存在多家企业，而多家企业可能都参与申报同一项目，因此可能产生多头申报问题，不能完全有效的规避内容重复申报问题。但是由于分析精确度低、系统架构存储在单一节点、不支持分布式计算、海量的申报内容数据，计算效率过低问题突出，不能及时的将结果反馈给用户，同时容易造成问题审批。

因此有必要提供一种基于财政大数据的分布式内容查重预警系统及方法来解决上述问题。

发明内容

本发明的目的在于提供一种效率较高且安全可靠性高的基于财政大数据的分布式内容查重预警系统，一种基于文档文字图像识别、中文分词算法、财政大数据实现的分布式计算内容相似度与分析相似内容的高效预警信息平台。

本发明目的之一提供基于财政大数据的分布式内容查重预警系统，包括项目申报模块、内容预警模块、内容分析引擎、财政大数据库、信息推送中心、任务调度中心，其中：

项目申报模块，用于用户申报专项资金项目；

内容预警模块，设定内容相似性预警的警戒线数值以及与之对应的预警级别。

内容分析引擎，引擎核心分为两个部分，中文分词算法与内容相似度算法，中文分词算法负责将申报的整个文档内容的语句拆分成词语（即词元，指组成一句话的词语），相似度算法负责计算两篇对比的目标申报文档的相似值，相似度算法为Simhash算法。

财政大数据库，与工商数据库及项目申报数据库通讯连接，财政大数据库对采集到的项目申报主体的工商数据与项目申报数据进行清洗、加工、分类形成工商主题库与项目类主题库。

信息推送中心，将预警的信息按管理的不同要求进行精准推送。

任务调度中心，负责调度相应的处理算法与功能执行任务。

本发明的另一个目的是采用上述系统提供一种基于财政大数据的分布式内容查重预警方法，包括以下步骤：