[发明专利]基于流媒体语义服务器的APP检测方法和系统

权利要求书

1.一种基于流媒体语义服务器的App检测方法，其特征在于包括以下步骤：

S1：手机推流端开启屏幕阅读器功能，开启推流工具并保持向流媒体语义分析服务器持续推送音频流和视频流，边缘节点已经注册到检测任务调度中心并开始发送心跳消息，检测任务调度中心向边缘节点下发检测任务，并将该边缘节点标记为“忙碌”状态；

S2：边缘节点完成准备工作，包括启动待检测的APP，机械臂开始通过在手机屏幕上滑动操作对APP的功能图标进行遍历；

S3：在S2的遍历过程中，边缘节点向流媒体语义分析服务器请求当前聚焦框的屏幕阅读器朗读的语音语义和当前的推流画面；

S31：嵌入式系统在控制机械臂滑动的后，向流媒体语义分析服务器发送索要当前的手机推流画面的请求；

S311：流媒体语义服务器立即从音视频流中截取当前的推流画面并保存；

S312：流媒体语义服务器在响应请求中写入当前保存的推流画面截图的可访问路径；

S313：嵌入式系统在获取到当前的推流画面后，进行滑动或点击行为的决策以及相关条目的检测；

S32：嵌入式系统在控制机械臂滑动的同时，向流媒体语义分析服务器发送索要当前聚焦框的屏幕阅读器朗读的语音语义；

S321：流媒体语义服务器立即从音视频流中截取一段音频并保存；

S322：流媒体语义服务器调用语音识别算法，将截取到的音频识别为文字；

S323：流媒体语义服务器在响应请求中写入语音识别结果；

S324：嵌入式系统在获取到当前聚焦框的屏幕阅读器朗读的语音语义后，进行滑动或点击行为的决策以及相关条目的检测；

S4:嵌入式系统对在S3中获取的当前聚焦框的复合语义(音频语义和图像语义)进行分析决策，指示机械臂在推流端设备上做出下一步动作；

S5：边缘节点重复进行获取信息、分析决策、指示动作流程，直到完成APP的检测任务，并向检测任务调度中心汇报检测结果；

S6:检测任务调度中心对S5边缘节点发送的检测报告进行查收并返回查收结果，边缘节点在收到来自检测任务调度中心的查收信号后，完成一系列收尾工作；

S61：检测任务调度中心检查检测报告，并自动确认检测报告完整性和合法性后，向边缘节点发送确认签收的通知；

S62：边缘节点收到确认签收通知，开始进行收尾工作；

S621：关闭当前已完成检测的APP；

S622：清除临时文件；

S623：生成作业日志，等待接收下一次检测任务；

S63：如果在S61中，检测任务调度中心在检查检测报告时发现报告检测项目有漏检等情况，通知边缘节点进行补检或重检；

S7：边缘节点在完成一系列收尾工作后，通知检测任务调度中心，检测任务调度中心将该边缘节点标记为“就绪”状态；

S8：流媒体语义分析服务器保留在S1-S5过程中产生的多媒体文件，并提供这些多媒体文件的管理接口，包括访问、删除等管理操作，目的在与便于被生成的检测报告所引用，以及为后续的其他检测方法提供检测资源。

2.根据权利1所述的一种基于流媒体语义服务器的App检测方法，其特征在于：步骤S1所述的流媒体语义分析服务器和边缘节点以及推流端设备之间仅仅通过网络通信，无需任何硬件信号线连接；步骤S1所述的屏幕阅读器选用Android的屏幕阅读器为Talkback，或者iOS的屏幕阅读器为VoiceOver；所述的边缘节点包括机械臂和嵌入式系统。

3.根据权利1所述的一种基于流媒体语义分析服务器的APP检测方法，其特征在于：步骤S2所述的边缘节点的准备工作，包括启动待检测的APP，具体实施方案如下：

启动待检测的APP可以由人工打开APP，或者在下发任务的任务描述中提供待检测APP的图标和APP名称，由边缘节点自行在推流端设备上寻找并启动待检测的APP。