[发明专利]一种算法能力测试方法及装置

权利要求书

1.一种算法能力测试方法，其特征在于，应用于算法能力测试系统，所述测试系统部署有第一算法，所述第一算法为预先训练的待测试算法，所述第一算法包括M个接口，所述方法包括：

向所述第一算法的第一接口下发第一测试样本，所述第一接口为按照预先确定的接口测试顺序，从所述M个接口中确定出的待测试接口，所述第一测试样本为测试样本库中随机抽取的测试样本，所述第一测试样本包括多个测试信息；

接收所述第一接口响应于所述多个测试信息中的第一测试信息的第一响应信息；

根据所述第一响应信息，确定所述第一接口是否存在异常；

在确定所述第一接口不存在异常的情况下，向所述第一算法的第二接口下发所述第一测试样本中的第二测试信息，所述第二接口为按照所述接口测试顺序所确定的待测试接口。

2.根据权利要求1所述的方法，其特征在于，所述M个接口包括基本信息接口、任务启动接口、信息上报接口；

所述接口测试顺序为：先对所述基本信息接口进行测试，在确定所述基本信息接口不存在异常的情况下，对所述任务启动接口进行测试，在确定所述任务启动接口不存在异常的情况下，对所述信息上报接口进行测试。

3.根据权利要求2所述的方法，其特征在于，对所述基本信息接口进行测试的步骤包括：

根据所述基本信息接口的配置参数，向所述基本信息接口下发测试报文，所述测试报文包括所述第一测试信息的存储服务器的域名和所述第一测试信息的存储地址；

接收所述基本信息接口响应于所述测试报文的响应报文；

根据所述响应报文，确定所述基本信息接口是否存在异常。

4.根据权利要求2所述的方法，其特征在于，所述第一算法为告警识别算法，所述M个接口还包括流异常接口和心跳上报接口；

所述方法还包括：

依据所述第一测试样本的样本类型，确定所述接口测试顺序；

其中，在所述第一测试样本的样本类型为图片样本时，所述接口测试顺序还包括：

在确定所述信息上报接口不存在异常的情况下，对所述心跳上报接口进行测试；

在所述第一测试样本的样本类型为视频样本时，所述接口测试顺序还包括：

在确定所述信息上报接口不存在异常的情况下，对所述流异常接口进行测试；

在确定所述流异常接口不存在异常的情况下，对所述心跳上报接口进行测试。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在确定所述M个接口不存在异常的情况下，向所述第一算法下发N个测试样本，N为大于1的整数；

获取所述第一算法对所述N个测试样本的N个测试结果；

依据所述N个测试结果，确定所述第一算法的测试能力是否满足要求。

6.根据权利要求5所述的方法，其特征在于，在所述依据所述测试结果,确定所述第一算法的测试能力是否满足要求之后，所述方法还包括：

向所述第一算法持续增加任务下发路数，直至所述第一算法的状态由正常状态变更至崩溃状态；

确定所述第一算法可承受的最大任务下发路数。

7.根据权利要求5所述的方法，其特征在于，所述第一算法为告警识别算法，所述N个测试样本为N个告警样本；

获取所述第一算法对所述N个测试样本的测试结果，包括：

获取所述告警识别算法对所述N个告警样本的识别结果；

依据所述测试结果，确定所述第一算法的测试能力是否满足要求，包括：

依据所述识别结果，确定所述告警识别算法的告警识别能力是否满足要求。