[发明专利]一种基于专家规则和数据服务质量的数据不一致解决系统

说明书

技术领域

本发明涉及的是一种电信技术领域的系统，具体地说是一种基于专家规则和数据服务质量用于解决分布式多源异构数据集成时的数据不一致的数据不一致解决系统。 

背景技术

对分布式异构数据源提供统一的表示、存储、查询和管理的工作称为信息集成。在数据集成中，由于分布式异构数据源物理上可能分布在异构环境的对个自治域中，有着不同的数据格式、存储方式、访问控制策略，逻辑上则可能在数据模型、操纵语言和数据语义等方面存在着很大差异。这使得在数据集成中存在各种冲突，其中多个数据源提供的数据之间可能会存在数据不一致性问题，这使得数据集成系统对现实世界的同一对象产生不同的描述数据，从而影响了数据集成的质量，并给系统用户带来不便。信息集成需要对这些冲突数据进行检测，消除数据这种不一致。当前，不同人不同组织开发的信息集成系统中都需要解决数据不一致问题能模块的重复开发，系统灵活性差，增加了系统开发和维护的开销。并且大部分数据集成系统,由于没有有效的解决数据不一致问题的策略,对这一问题采取忽略。因此，为了从根本上解决数据融合系统的灵活性、可扩展性和重用性，研发一个开放的，可以适应数据集成技术和需求不断发展的数据不一致解决系统，是数据集成领域的一个重要应用趋势。 

经对现有技术文献的检索发现，中国专利申请号0410057020.9，发明名称：数据交换方法，公开号：CN1738309，该专利的数据交换系统中，系统通过定义可扩展标记语言的文本格式，对交换数据进行封装，实现数据交换。该数据交换系统根据定义可扩展标记语言的文本格式消除异构信息系统的模式冲突，但对数据集成中由于不同数据源对同一数据项提供的数据对象值，因为数据源的更新时间、数据质量等可能会有所不一致，产生冲突，信息集成需要消除这种数据不一 致，而该系统没有解决数据交换集成中出现的数据不一致问题。 

发明内容

本发明针对现有技术的不足与缺陷，提供一种基于专家和数据服务质量的分布式异构数据集成系统，使其能够在分布式环境下为不同信息集成系统提供一种灵活、通用的即插即用的数据不一致解决系统,解决数据集成中数据不一致问题。 

本发明是通过以下技术方案实现的，本发明包括：系统交互管理服务器、对象属性分解服务器、数据规则检测器、数据质量检测器、专家规则管理服务器、数据源质量服务器和对象属性融合服务器。系统交互管理服务器负责与存在数据不一致问题的外部数据集成系统建立连接，接收外部数据集成系统输出的待解决的不一致数据对象集及相关信息，并将数据对象集传送到对象属性分解服务器，对象属性分解服务器将存在数据不一致的数据对象集的对象值的任务解析为多个对单一冲突的对象属性集确定属性值的任务需求，将数据对象集分解为多个单一的对象属性集，对象属性分解服务器依次将每个对象属性集传给数据规则检测器，数据规则检测器根据专家规则管理服务器中给出的相关专家规则对对象属性集中的属性值进行检测,将不符合专家规则的属性值从对象属性集中剔除,并将通过专家检测的对象属性集传递给数据质量检测器,数据质量检测器根据数据源质量服务器提供的数据源评价指标和数据源属性评价指标对输入的对象属性集进行检测，确定最优对象属性值，对象属性融合服务器对数据质量检测器传过来的每个对象的属性值进行融合，形成最终的数据对象值,系统交互管理服务器将最终的对象值返回给外部数据集成系统。外部数据集成系统可以对本次数据不一致解决结果作出评价,并经过系统交互管理服务器将评价结果传给数据源质量服务器。数据源质量服务器根据评价修改相应的数据源和对象属性的评价指标。 

外部数据集成系统是与本发明系统交互的一个外部系统，本发明中存在数据不一致问题的数据对象集来自外部数据集成系统，本发明系统确定的唯一数据对象值需要返回给外部数据集成系统，外部数据集成系统还可对本次数据不一致的解决方案给出评价。 

所述的系统交互管理服务器包括：系统连接单元和数据管理单元，主要负责与外部数据集成系统进行连接和数据交互，并负责向对象属性分解服务器提供待 解决的数据对象集及相关数据信息以及返回经数据不一致解决方案得到的唯一数据对象值给外部数据集成系统,同时接受外部数据集成系统对本次解决方案的评价；其中系统连接单元主要负责与外部数据集成系统进行连接，外部数据集成系统可以通过系统连接单元提供的接口与本发明系统进行连接，从而实现本发明系统在各种数据集成系统中的即插即用；数据管理单元主要负责从已连接的外部数据集成系统获得存在数据不一致问题的数据对象集及相关信息，以及输出解决结果数据对象值到外部的信息集成系统，并负责向对象属性分解服务器提供待数据集。