[发明专利]一种基于文本描述的监控布防方法、装置及系统

说明书

本申请提供了一种基于文本描述的监控布防方法、装置及系统。本申请中基于文本描述进行布防的方式解决了现有的基于视频监控进行安全布防所带来的如在生产阶段即需要确定好布防内容、使用过程中仅能对预设的布防类别进行监控、无法灵活设置布防目标等技术问题。具体地，本申请中基于图‑文特征向量相比对来进行布防，取代了现有基于视频监控进行布防时的图‑图特征向量比对方式；并且，由于描述文本可以根据实际需求进行实时输入或调整，而不必在出厂阶段即固定设置，使得用户能够在布防需求发生变更时，通过改变描述文本使监控布防系统实时响应用户的动态设置，提升了布防系统的灵活性、通用性及用户体验。

技术领域

本申请涉及安防监控领域，特别涉及一种基于文本描述的监控布防方法、装置及系统。

背景技术

随着监控技术的发展，通过视频监控进行安全布防的应用越来越广泛。然而，现有的通过视频监控进行的安全布防，通常在生产阶段即需要确定好布防内容，以便基于预设的布防内容针对性地训练相应的识别模型，导致使用过程中仅能对预设的布防类别进行监控，无法灵活设置布防目标，难以满足用户的实时调整需求。

发明内容

本申请实施例提供了一种基于文本描述的监控布防方法、装置及系统，能够根据用户需求动态设置布防目标，提升了监控布防系统的通用性。

第一方面，本申请实施例提供了一种基于文本描述的监控布防方法，上述方法应用于电子设备，包括：

获得至少一个用于描述行为的描述文本，并确定上述描述文本对应的文本特征向量，上述描述文本至少包括：需要监控的行为；

获得当前行为关联的至少一帧目标视频图像，并依据上述当前行为关联的至少一帧目标视频图像确定当前行为对应的目标图像特征向量；

从已确定的各文本特征向量中依据目标多模态超强知识模型确定上述目标图像特征向量对应的目标文本特征向量；其中，上述目标多模态超强知识模型中至少包含上述目标图像特征向量和已确定的各文本特征向量之间的对应关系；

输出针对目标行为的报警信息，上述目标行为是指上述目标文本特征向量对应的目标描述文本中的行为。

在一可能的实现方式中，上述至少一帧目标视频图像包括固定长度的连续帧目标视频图像，上述获得当前行为关联的至少一帧目标视频图像，包括：

获得外部输入的针对当前行为的视频；

通过均匀帧采样策略对上述视频进行分帧处理，得到固定长度的连续帧目标视频图像。

在一可能的实现方式中，上述电子设备运行上述目标多模态超强知识模型；上述目标多模态超强知识模型至少包括：文本编码器；

上述确定上述描述文本对应的文本特征向量包括：

利用上述文本编码器对输入的至少一个描述文本进行编码，得到各描述文本对应的文本特征向量。

在一可能的实现方式中，上述目标多模态超强知识模型还包括：视频编码器；

上述依据上述当前行为关联的至少一帧目标视频图像确定当前行为对应的目标图像特征向量包括：利用上述视频编码器对上述当前行为关联的固定长度的连续帧目标视频图像进行编码，得到上述目标图像特征向量。

在一可能的实现方式中，上述目标多模态超强知识模型还包括：相似度计算模块；

上述从已确定的各文本特征向量中依据目标多模态超强知识模型确定上述目标图像特征向量对应的目标文本特征向量包括：

利用上述相似度计算模块计算上述目标图像特征向量和已确定的每一文本特征向量之间的相似度；

将与上述目标图像特征向量的相似度大于设定阈值的文本特征向量确定为上述目标文本特征向量。