[发明专利]数据采集管理方法、采集管理系统及电信网络管理系统

说明书

技术领域

本发明涉及通讯领域，尤其涉及一种数据采集管理方法、采集管理系统及电信网络管理系统。

背景技术

按照TMN(Telecommunications Management Network，电信管理网)的规范，电信网络管理系统主要由配置管理、故障管理、性能管理、拓扑管理和安全管理这五个功能模块组成，拓扑管理的基础就是资源数据的采集和汇总，而性能管理更是直接使用从设备采集而来的性能数据进行展现和分析，因此，数据采集对TMN规定的管理功能至关重要。

现在的电信网络管理系统，对设备的数据采集多采用即时采集方式，网元管理系统EMS是管理特定类型的一个或多个电信网络单元NE的系统，网元管理系统EMS中多个使用性能数据、资源数据的模块直接访问网络设备进行获取，这种使用模式在多EMS情况下更为普遍，通常容易造成如下问题：同一网络设备的同一数据接收到多模块和多系统的大量重复访问，网络设备由于其嵌入系统的处理能力有限，在大量重复访问下，极其容易造成反馈不及时和延误，同时，重复的大量访问造成了网络流量的迅速增加，在洪峰期间容易造成网络拥塞，影响数据获取速度的同时，也影响了用户的其他网络业务，另外，目前的数据采集系统不够完善，通常是单个用户根据自己的需求控制数据的离散采集，这增加了业务处理的复杂度，同时也导致了同一网络设备的同一数据接收到多模块和多系统的大量重复访问。

发明内容

本发明提供一种数据采集管理方法、采集管理系统及电信网络管理系统，解决了同一网络设备的同一数据接收到多模块和多系统的大量重复访问的问题。

为解决上述技术问题，本发明采用以下技术方案：

一种数据采集管理方法，包括：

设置数据库，根据接收到的用户订单在所述数据库中查找对应数据；

如果数据库不满足用户订单需求，则判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，采集所述第一集合中包括的数据；

将采集到的数据更新到数据库。

还包括对数据库进行变步长更新，具体包括：

获取数据库中每条数据的访问频率及每条数据的最后更新时间；

根据所述访问频率确定每条数据的更新步长，根据所述最后更新时间确定每条数据的更新优先级；

根据所述每条数据的更新步长和更新优先级判断数据库中需要变步长更新的数据，生成变步长更新采集任务；

将采集到的数据更新到数据库。

将所述数据库中需要变步长更新的数据与所述第一集合取并集而生成第二集合，生成合并采集任务，采集所述第二集合中包括的数据，将采集到的数据更新到数据库。

根据每条数据的访问频率确定更新步长的方法包括：数据访问频率高于系统预先配置的基准访问频率的数据时，其更新步长设置为低于系统预先配置的基准步长。

所述更新步长等于所述系统基准步长与所述系统基准访问频率的乘积除以所述访问频率。

根据每条数据的最后更新时间确定更新优先级的方法包括：由所述每条数据的最后更新时间得到每条数据的更新时长，如果所述更新时长大于系统预先配置的基准更新时长，则其更新优先级设置为高于系统预先设置的标准优先级。

所述更新优先级等于所述系统基准优先级与所述更新时长的乘积除以所述系统基准更新时长。

还包括将满足用户订单需求的数据反馈给用户。

所述用户订单的内容包括数据标识和实时门限。

一种数据采集管理系统，包括：数据查找模块、任务管理模块、数据采集模块、数据更新模块和数据库，其中，

所述数据查找模块用于根据接收到的用户订单在所述数据库中查找对应数据；

所述任务管理模块用于在所述数据库不满足用户订单需求的条件下，判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，生成订单采集任务；

所述数据采集模块用于采集所述第一集合中包括的数据；

所述数据更新模块用于将数据采集模块采集到的数据更新到数据库。

所述任务管理模块还用于获取数据库中每条数据的访问频率及每条数据的最后更新时间，并根据所述访问频率确定每条数据的更新步长，根据所述最后更新时间确定每条数据的更新优先级，根据所述每条数据的更新步长和更新优先级判断所述数据库中需要变步长更新的数据，生成变步长更新采集任务；所述数据采集模块还用于根据所述变步长更新采集任务采集数据；所述数据更新模块还用于将数据采集模块采集到的数据更新到数据库。