[发明专利]数据有效性验证方法及装置

说明书

本发明公开了一种数据有效性验证方法及装置。其中，该方法包括：获取元数据；确定验证元数据的至少一个应用场景；根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括：当前应用场景的账户登录参数；将任意一个应用场景对应的配置参数分别加载至元数据，生成至少一个待验证数据；获取任意一个应用场景对应的验证项目；基于验证项目验证待验证数据，得到验证结果。本发明解决了现有技术中数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题。

技术领域

本发明涉及信息处理领域，具体而言，涉及一种数据有效性验证方法及装置。

背景技术

随着互联网的发展，各大在线搜索服务提供商通过开放平台吸引第三方进行应用创新和整合，例如：百度凤巢、百度网盟和奇虎点睛(360搜索)。同时他们也各自提供了一整套在线管理平台。如果对一个需要千万级关键词和多平台投放的客户来说，管理和优化无疑是他们的噩梦。因此第三方离线管理系统，整合主流在线搜索服务，为用户提供一站式全平台离线广告管理系统。离线广告管理系统除了无法满足实时数据分析和查看需求外，其它增删改都是实时性的。为了保证这种离线系统与各平台在线系统数据一致性，离线系统内部需要周期性的同各大平台进行单向数据同步(在线系统数据同步到离线系统)。

数据同步过程中，有两个核心要素需要特别关注：

第一：数据的有效性；

第二：数据的一致性；

针对以上两点，可以明显看到数据有效性是数据一致性的前提，如果无法有效地屏蔽脏数据，就无法保证数据健壮性，更谈不上一致性，对后续的数据分析和挖掘都会产生阻碍和影响。同时，产生脏数据的条件和环境因平台的不同可能有相似性，也有差异性。

现有技术大部分针对具体应用场景，将检查逻辑分散到业务处理过程中，碎片化非常严重。而且，这样做很难使检查逻辑具有复用性。系统在演化过程中，数据有效性检查矫正工作往往是在原有基础上以补丁的方式进行。在违背开放封闭的设计原则的同时，对系统的稳定性造成影响。当系统庞大到一定程度，一旦发现多平台出现检查漏洞，则需要深入各个业务处理逻辑内部进行修正，维护成本和风险剧增。

以上方案具有以下缺陷：

1、碎片化。维护成本高，影响系统稳定性，随着系统发展，风险高。

2、可扩展性差。违背开放封闭的设计原则。

3、耦合性高。作为业务逻辑一部分，对应处理某种具体的应用场景。

4、复用性差。应对通用的检查逻辑，复用性差，最多是逻辑的复用。

5、演化能力低。缺乏灵活的演化能力，牵一发而洞全身，演化成本高。

针对现有技术中数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种数据有效性验证方法及装置，以解决现有技术中。数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题。