[发明专利]一种化工作业数据的处理方法、装置及存储介质

权利要求书

1.一种化工作业数据的处理方法，其特征在于，包括以下步骤：

获取化工作业的基础数据及视频数据，其中，所述基础数据包括作业事件数据、作业时间数据、作业类型数据、作业地点数据、防护等级数据、防护要求数据中的至少一者；

经由预先训练的物体检测网络及人物交互网络分别解析所述视频数据，以识别其中涉及的相关物体数据及人物交互数据；

基于所述化工作业的作业规则的约束确定本体结构；以及

基于所述本体结构对所述基础数据、所述相关物体数据及所述人物交互数据进行知识抽取，形成多条三元组形式的知识表示，以构建跨媒体的化工作业知识图谱。

2.如权利要求1所述的处理方法，其特征在于，所述相关物体数据涉及灭火器、防火布、脚手架、警戒线、气瓶、围栏、作业牌、火花中的至少一种物体识别结果，和/或

所述人物交互数据涉及人佩戴安全帽、人佩戴手套、人佩戴护目镜、人穿警示服装、人穿安全绳中的至少一种人物交互识别结果，其中，所述人物交互网络是经由人、手套、安全帽、护目镜、警示服装、安全绳中的至少一种交互要素标注训练的。

3.如权利要求1所述的处理方法，其特征在于，所述本体结构涉及人员、防护物品、穿戴物品、器械、现象、防火布、灭火器、脚手架、警戒线、围栏、安全帽、手套、护目镜、警示服装、安全绳、气瓶、作业牌、火花、交互类型、视频类、图片、作业事件、作业类型中的至少一种本体类，

各所述本体类之间的关系包括以下的至少一者：类型(a，b)、视频记录(a，b)、包含(a，b)、交互物体(a，b)，其中，a和b为所述关系涉及的两个对象，分别选自所述至少一种本体类，

所述人员、所述防护物品、所述穿戴物品、所述器械、所述现象涉及像素框坐标和/或图片url地址的属性，和/或所述视频类涉及视频地址的属性，和/或所述作业事件涉及作业时间、作业地点、防护等级及防护要求中的至少一种属性，和/或所述作业类型涉及防护要求的属性。

4.如权利要求3所述的处理方法，其特征在于，在经由预先训练的物体检测网络及人物交互网络分别解析所述视频数据，以识别其中涉及的相关物体数据及人物交互数据之后，所述处理方法还包括以下步骤：

以所述视频数据的一帧图片为单位，将所述相关物体数据、所述人物交互数据、相关物体和/或交互要素的像素框坐标数据、当前帧图片的url地址数据及所述视频数据的视频地址数据，分别存储到数据库中。

5.如权利要求4所述的处理方法，其特征在于，基于所述本体结构对所述基础数据、所述相关物体数据及所述人物交互数据进行知识抽取，形成多条三元组形式的知识表示，以构建跨媒体的化工作业知识图谱的步骤包括：

确定所述化工作业的作业场景；

根据所述作业场景对应的作业规范调节所述本体结构，并将其确定为所述作业场景的事件模板；

根据所述事件模板的约束，逐帧对所述数据库中的存储数据进行结构化知识抽取，以形成多条三元组形式的知识表示；以及

基于多条所述三元组形式的知识表示，构建所述跨媒体的化工作业知识图谱。

6.如权利要求5所述的处理方法，其特征在于，在构建所述跨媒体的化工作业知识图谱之后，所述处理方法还包括以下步骤：

根据所述作业场景的作业规范，编写规则脚本；以及

根据所述规则脚本检索所述跨媒体的化工作业知识图谱，以判断所述视频数据中的作业行为是否违规。

7.如权利要求6所述的处理方法，其特征在于，所述规则脚本涉及对所述物体检测网络识别的物体类型和物体数量的约束，所述根据所述规则脚本读取检索跨媒体的化工作业知识图谱，以判断所述视频数据中的作业行为是否违规的步骤包括：

根据所述规则脚本检索所述事件模板在所述化工作业知识图谱中的填充数据，以判断所述视频数据中的作业行为是否违规。

8.如权利要求7所述的处理方法，其特征在于，所述规则脚本要求所述物体检测网络在所述视频数据的所有图片的范围内识别所述相关物体数据，并要求所述人物交互网络在当前帧图片的范围内识别所述人物交互数据。