[发明专利]基于Agent的多源异构政务数据抽取系统

权利要求书

1.一种基于Agent的多源异构政务数据抽取系统，其特征在于，包括主控Agent(101)以及分别连接至所述主控Agent(101)的多个Agent组，所述主控Agent(101)用于启动或终止所述多个Agent组，其中，

每个所述Agent组均包括数据抽取Agent、数据处理Agent和数据存储Agent；

所述数据抽取Agent连接至所述主控Agent(101)以及位于相同Agent组的数据处理Agent，用于抽取数据并将所述数据发送至所述数据处理Agent；

所述数据处理Agent连接至位于相同Agent组的数据存储Agent，用于对所述数据进行分类处理，并将分类处理后的数据发送至所述数据存储Agent；

所述数据存储Agent用于对分类处理后的数据进行存储；

所述主控Agent(101)分别连接各个Agent组，用于启动或终止各个Agent组，并管理各个Agent组的生命周期，各个Agent组之间无信息交流；

所述多源异构政务数据抽取系统包括3个Agent组，分别用于对来自不同数据源的数据进行抽取、处理和存储；

所述3个Agent组分别为网页Agent组(102)、微信Agent组(103)和微博Agent组(104)，

所述网页Agent组(102)用于从政府官方网页中抽取数据并进行分类处理和存储，在抽取数据前，需要抽取数据的来源网页在相应文件中已确定，所述相应文件中已经记录了所有相关网页的网页名称、图片存储地址、网页html代码存储地址以及抽取记录存储的地址；所述微信Agent组(103)用于从政府官方微信中抽取数据并进行分类处理和存储，在抽取数据前，需要抽取数据的所有相关政府官方微信的名称已经在相应文件中确定；所述微博Agent组(104)用于从政府官方微博中抽取数据并进行分类处理和处理，在抽取数据前，需要抽取数据的所有相关微博账号已经在相应文件中确定。

2.根据权利要求1所述的多源异构政务数据抽取系统，其特征在于，所述主控Agent(101)包括一级用户操作界面(1011)，用于启动或终止所述多个Agent组。

3.根据权利要求1所述的多源异构政务数据抽取系统，其特征在于，每个所述Agent组中的数据抽取Agent均包括二级用户操作界面，用于显示当前的数据抽取进度条以及抽取百分比。

4.根据权利要求3所述的多源异构政务数据抽取系统，其特征在于，所述网页Agent组(102)包括网页数据抽取Agent(1021)、网页数据处理Agent(1022)和网页数据存储Agent(1023)，其中，

所述网页数据抽取Agent(1021)连接所述主控Agent(101)和所述网页数据处理Agent(1022)，用于抽取预设的网页数据，并将抽取的网页数据发送至所述网页数据处理Agent(1022)；

所述网页数据处理Agent(1022)连接所述网页数据存储Agent(1023)，用于对所述网页数据进行分类处理，并将分类处理后的网页数据发送至所述网页数据存储Agent(1023)；

所述网页数据存储Agent(1023)用于对分类处理后的网页数据进行存储。

5.根据权利要求4所述的多源异构政务数据抽取系统，其特征在于，所述微信Agent组(103)包括微信数据抽取Agent(1031)、微信数据处理Agent(1032)和微信数据存储Agent(1033)，其中，

所述微信数据抽取Agent(1031)连接所述主控Agent(101)和所述微信数据处理Agent(1032)，用于抽取预设的微信数据，并将抽取的微信数据发送至所述微信数据处理Agent(1032)；

所述微信数据处理Agent(1032)连接所述微信数据存储Agent(1033)，用于对所述微信数据进行分类处理，并将分类处理后的微信数据发送至所述微信数据存储Agent(1033)；

所述微信数据存储Agent(1033)用于对分类处理后的微信数据进行存储。