[发明专利]基于多模态的金库出入库信息自动核对方法及装置

权利要求书

1.一种基于多模态的金库出入库信息自动核对方法，其特征在于，包括：

获取办理当前出入库业务时的待核对数据，所述待核对数据包括管库员办理当前出入库业务时的音频数据、视频数据以及管库员针对本次出入库业务填写的库存登记表图像数据；

对所述音频数据进行声纹识别和语音识别，得到说话人的身份、说话人的数量及语音内容；

根据所述视频数据以及预先创建的图像分析模型进行图像识别，得到视频内容；其中，所述图像分析模型是基于多个金库物品的图像预先训练得到的；

采用光学字符识别技术对所述库存登记表图像数据进行扫描，得到对应的字段数据；

根据所述说话人的身份、所述说话人的数量、所述语音内容、所述视频内容以及所述字段数据确定金库出入库信息的核对结果。

2.根据权利要求1所述的基于多模态的金库出入库信息自动核对方法，其特征在于，所述获取办理出入库业务期间的待核对数据，包括：

采集办理出入库业务期间的音视频数据；

对所述音视频数据进行音视频分离，得到音频数据和视频数据；

对管库员在办理出入库业务期间填写的库存登记表进行扫描，得到库存登记表图像数据。

3.根据权利要求1所述的基于多模态的金库出入库信息自动核对方法，其特征在于，所述对所述音频数据进行声纹识别和语音识别，得到说话人的身份、说话人的数量及语音内容，包括：

对所述音频数据进行声纹识别，得到所述音频数据中包含的至少一个声纹信息，所述声纹信息的数量与所述说话人的数量对应一致；

将所述声纹信息与预先存储的管库员的声纹信息进行比对，得到说话人的身份信息；

对所述音频数据进行语音识别，得到所述音频数据对应的语音内容，所述语音内容包括办理出入库业务期间的物品种类和物品数量。

4.根据权利要求1所述的基于多模态的金库出入库信息自动核对方法，其特征在于，所述根据所述视频数据以及预先创建的图像分析模型进行图像识别，得到视频内容，包括：

按照预设的时间参数对所述视频数据进行截图，得到多个视频图像；

采用预设的图像分析模型对多个所述视频图像进行识别，得到各视频图像中包含的物品种类和数量。

5.根据权利要求1所述的基于多模态的金库出入库信息自动核对方法，其特征在于，所述根据所述说话人的身份、所述说话人的数量、所述语音内容、所述视频内容以及所述字段数据确定金库出入库信息的核对结果，包括：

根据所述说话人的身份、所述说话人的数量以及所述字段数据中的管库员，得到管库员身份核对结果；

根据所述视频内容中的物品种类、所述语音内容中的物品种类以及所述字段数据的物品种类得到物品种类核对结果；

根据所述视频内容中的物品数量、所述语音内容中的物品数量以及所述字段数据的物品数量得到物品数量核对结果；

根据所述音频数据的产生时间、所述视频数据的产生时间以及所述字段数据中的出入库时间得到时间核对结果；

根据所述语音内容中的出入库原因以及所述字段数据中的出入库原因得到出入库原因核对结果；

根据所述语音内容中的业务编号以及所述字段数据中的业务编号得到业务编号核对结果；

根据所述管库员身份核对结果、所述物品种类核对结果、所述物品数量核对结果、所述时间核对结果、所述出入库原因核对结果以及所述业务编号核对结果得到金库出入库信息的核对结果。

6.根据权利要求5所述的基于多模态的金库出入库信息自动核对方法，其特征在于，所述根据所述说话人的身份、所述说话人的数量以及所述字段数据中的管库员，得到管库员身份核对结果，包括：

判断所述说话人的身份、所述说话人的数量与所述字段数据中的管库员是否一致；若是，则判断所述管库员是否具有办理出入库业务的权限；

若所述管库员具有办理出入库业务的权限，则确定所述管库员身份核对结果为核对一致；

若管库员不具有办理出入库业务的权限，或者所述说话人的身份、所述说话人的数量与所述字段数据中的管库员不一致，则确定所述管库员身份核对结果为核对不一致。