[发明专利]一种基于财政大数据的分布式内容查重预警系统

权利要求书

1.一种基于财政大数据的分布式内容查重预警系统，其特征在于，包括财政大数据库、项目申报模块、内容预警模块、内容分析引擎、信息推送中心、任务调度中心，其中：

财政大数据库，与工商数据库及项目申报数据库通讯连接，财政大数据库对采集到的项目申报主体的工商数据与项目申报数据进行清洗、加工、分类形成工商主题库与项目类主题库；

项目申报模块，用于用户申报专项资金项目；

内容预警模块，设定内容相似性预警的警戒线数值以及与之对应的预警级别；

内容分析引擎，引擎核心分为两个部分，中文分词算法与内容相似度算法；

信息推送中心，将预警的信息按管理的不同要求进行精准推送；

任务调度中心，负责调度相应的处理算法与功能执行任务。

2.一种基于财政大数据的分布式内容查重预警方法，其特征在于，包括以下步骤：

S1财政大数据库建立，通过设定的算法模型，对采集的工商数据与项目申报数据进行清洗、加工、分类形成工商主题库与项目类主题库；

S2企业通过项目申报模块填写专项资金申报内容，向服务器提交专项资金项目申报请求，服务器端接收客户端发送的项目申报请求，开始接收数据；

S3通过内容分析引擎，调用分词算法功能接口对项目申报内容进行词法分析，并将语句内容拆分成词元，调用存储层接口将分词的词元存储财政大数据库中，申报主体的项目申报内容会以文档形式存储在HDFS与MangoDB中；

S4通过任务调度中心，调用任务调度中心的任务接口，发布相似度计算任务与工商库企业关系链路计算任务，调用分布式计算工具Spark接口，执行计算任务，利用多服务器算力进行快速计算，快速的计算出申报内容基于项目类主题库与工商类主题库的相似度查重分析；

S5将计算结果反馈给内容预警模型中心，模型判断结果是否触发预警阀值，超过预警值则开始步骤S6，无则结束整个项目内容预警计算流程；

S6通过预警模型中心向预警表中写入预警日志，调用预警结果消息推送接口，消息推送主要通过邮件、站内信、短信、APP的方式进行，可以动态设定消息推送方式；

S7通过信息推送中心进行预警结果消息推送，打开消息通知，查看查重结果，重复的内容被标注出来进行显示。

3.根据权利要求2所述的基于财政大数据的分布式内容查重预警方法，其特征在于，所述的S3中分词算法基于正向匹配的分词算法，具体方法为：采用的智能分词模式smart模式，本系统分词引擎分词器则会根据内在方法输出一个认为最合理的分词结果，同时在本算法中建设性的开创词元与词元链概念，词元链是分词的一种结果根据前后顺序组成一个链式结构，其本质是由交叉的词元组成的有序集合，词元对象中定义了词元在整个链路中的位置，用于消除歧义。

4.根据权利要求2所述的基于财政大数据的分布式内容查重预警方法，其特征在于，所述的S4中相似度查重分析的方法采用SimHash相似度算法。