[发明专利]一种视频分析算法的自动化评估系统及方法

说明书

本发明公开一种视频分析算法的自动化评估系统及方法，提供算力自动化评估模块，能够根据不同种类的算法评估规则生成的评估模板，并按评估模版实现对算法的性能、成本、感知等算法指标进行自动化评估。本发明法突破传统算法评估办法的局限性，解决了同一类算法下不同提供厂商的快速评估难题，可针对多个厂商的同类算法按统一规则模板进行自动化评估，并以报表+图表的形式直观体现。本发明适用于实时、持续的智能视频算法评估场景，使用方便，用户通过自定义算法评估规则设置就可实现智能视频算法的自动化评估。

技术领域

本发明涉及AI算法技术领域，尤其涉及一种视频分析算法的自动化评估系统及方法。

背景技术

随着国家对科技技术的大量投入及支持，AI市场经过了第三次的热潮，从原先的“符号主义”到“机器学习、神经网络”再到现在的“人工智能（大数据、芯片、算法）”的深度学习。因此市场上也出现大量算法生产厂商提供各个场景的算法（人脸算法、车辆算法、图像识别算法等），在算法进入市场化前各厂商都会对各自的算法进行评估测试，以此确保算法的性能，但是评估的范围存在于局限性，同一算法的不同厂商提供的评估结果，由于评估的方式不同等其他因素导致了算法之间的评估结果可比性价值偏低。总之，传统算法评估需要一个一个算法进行评估，效率低，而且评估方法不统一。

目前缺少对算法评估方法进行有效管理，对评估规则的统一制定，相同算法在不同的评估规则体系得出的评估结果准确性就会存在差异。另外，评估结果只能通过厂商或者繁琐的程序后才能获得，增加了前期的调研难度，对于评估结果无法实现有据可循。

发明内容

本发明的目的在于提供一种视频分析算法的自动化评估系统及方法。

本发明采用的技术方案是：

一种视频分析算法的自动化评估系统，其包括评估调度任务装置、数据采集装置和算法测评装置，

评估调度任务装置包括以下模块：

评估调度任务新建模块，确立评估的算法对象并添加算法评估调度任务，

评估规则生成模块，用于自定义算法测评规则并存入规则仓库，

评估模板生成模块，调用规则仓库的评估规则创建评估模板并存入评估模板仓库，

数据采集装置设有算法分析标准库和样本资源库，数据采集装置通过算法分析标准库和样本资源库提供评估模板所需的标准化测试数据，标准化测试数据包括厂家算法和样本数据；

算法测评装置与评估调度任务装置对接，并调用评估模板对接入的算法分析标准库的算法进行自动化评估，并以图文方式输出算法评估结果。

进一步地，算法分析标准库通过支持多厂家算法的接口转换模块以接入多厂家算法，样本资源库通过外接样本数据采集系统的获取样本数据。

进一步地，算法评估结果包括表征度量值、实际性能以及感知能力。

一种视频分析算法的自动化评估方法，其包括以下步骤：

步骤1，确立评估的算法对象并判断是否存在对应的评估调度任务；是则，执行步骤6；否则，执行步骤2添加算法评估调度任务；

步骤2，评估调度任务新建模块新增评估调度任务；

步骤3，查询当前评估模板仓库是否存在对应的评估模块；是则，执行步骤6；否则，执行步骤4；

步骤4，查询评估规则仓库判断是否存在创建对评估模板所需的评估规则；是则，执行步骤5；否则，创建新的评估规则存入评估规则仓库并执行步骤5，

步骤5，基于该评估规则创建模板并存入评估模块仓库；

步骤6，根据当前评估调度任务设置评估模板的参数并导出评估模板；

步骤7，算法测评装置调用评估模板，并评估模板从数据采集装置自动采集获取标准化测试数据进行算法自动化评估，

步骤8，算法测评装置以图文方式输出算法评估结果。