[发明专利]基于Agent的多源异构政务数据抽取系统

说明书

本发明涉及一种基于Agent的多源异构政务数据抽取系统，包括主控Agent以及分别连接至主控Agent的多个Agent组，主控Agent能够启动或终止所述多个Agent组，其中，每个Agent组均包括数据抽取Agent、数据处理Agent和数据存储Agent；数据抽取Agent用于抽取数据并将数据发送至数据处理Agent；数据处理Agent用于对数据进行分类处理，并将分类处理后的数据发送至数据存储Agent；数据存储Agent用于对分类处理后的数据进行存储。该政务数据抽取系统包括主控Agent以及分别连接至主控Agent的多个Agent组，能够使系统具有低耦合和高效率的优点。

技术领域

本发明属于数据抽取和处理技术领域，具体涉及一种基于Agent的多源异构政务数据抽取系统。

背景技术

Agent是指驻留在某一环境下，能持续自主地发挥作用，具备驻留性、反应性、社会性、主动性等特征的计算实体。Agent能根据外界环境的变化，自动地对自己的行为和状态进行调整，具有自我管理、自我调节的能力；对于外界环境的改变，能主动采取活动的能力，同时可与其它Agent或人进行合作，不同的Agent可根据各自的意图与其它Agent进行交互，以达到解决问题的目的。

随着互联网的快速发展，新媒体正在逐渐成为主流，政府部门需要时刻关注新兴媒体来监控舆情，了解人民的关注热点。建设政务大数据以及政务数据的抽取分析是政府职能转变的需要。政府对数据的掌握及分析处理对于政府部门的工作有着深刻的影响，采用计算机抽取分析数据的方式是十分必要的。

传统的数据抽取方法为采用面向对象技术进行数据抽取，其存在一定的缺点，比如系统维护修改比较困难，并且面向对象不能够完全贴合现实世界地进行模拟。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于Agent的多源异构政务数据抽取系统。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于Agent的多源异构政务数据抽取系统，包括主控Agent以及分别连接至所述主控Agent的多个Agent组，所述主控Agent用于启动或终止所述多个Agent组，其中，

每个所述Agent组均包括数据抽取Agent、数据处理Agent和数据存储Agent；

所述数据抽取Agent连接至所述主控Agent以及位于相同Agent组的数据处理Agent，用于抽取数据并将所述数据发送至所述数据处理Agent；

所述数据处理Agent连接至位于相同Agent组的数据存储Agent，用于对所述数据进行分类处理，并将分类处理后的数据发送至所述数据存储Agent；

所述数据存储Agent用于对分类处理后的数据进行存储。

在本发明的一个实施例中，所述主控Agent包括一级用户操作界面，用于启动或终止所述多个Agent组。

在本发明的一个实施例中，每个所述Agent组中的数据抽取Agent均包括二级用户操作界面，用于显示当前的数据抽取进度条以及抽取百分比。

在本发明的一个实施例中，所述多源异构政务数据抽取系统包括3个Agent组，分别用于对来自不同数据源的数据进行抽取、处理和存储。

在本发明的一个实施例中，所述3个Agent组分别为网页Agent组、微信Agent组和微博Agent组。

在本发明的一个实施例中，所述网页Agent组包括网页数据抽取Agent、网页数据处理Agent和网页数据存储Agent，其中，

所述网页数据抽取Agent连接所述主控Agent和所述网页数据处理Agent，用于抽取预设的网页数据，并将抽取的网页数据发送至所述网页数据处理Agent；