[发明专利]一种RPA流程自动化方法和系统

权利要求书

1.一种RPA流程自动化方法，其特征在于，包括：

获取待处理的视频，在终端设备对待处理的视频进行编码处理；

分离视频中的视频数据与音频数据；

音频数据转换为文本数据；

对文本数据进行分词处理并进行词性标注；

根据词性标注内容提取分词结果中的名词；

将所述名词以优先于音频数据传输的优先级上传至服务器；

采用GOP策略对视频进行处理，得到多个GOP分组，每个GOP分组中包括一个关键帧和多个预测帧；

抽取若干个GOP分组的关键帧作为摘要画面帧；其中，按设定规则抽取多个摘要画面帧并配置在编码后的视频数据的前部数据，所述编码后的视频数据的前部数据的传输优先级高于所述视频数据的后部数据；

在被抽取关键帧的GOP分组中加入索引信息，以确定关键帧所在所述前部数据的位置；

服务器端接收所述编码后的视频数据时，获取当前在预设时间内的订单信息，根据所述订单信息获取关联图片；

从摘要画面帧中识别出摘要画面帧中物品的类型，得到至少一个候选类型；

根据所述候选类型从预设时间段内的订单信息中匹配对应类型的商品订单，得到至少一个候选订单；

将候选订单的关联图片中的商品区域与各摘要画面帧中的物品区域进行匹配，将匹配度最高的图片组对应的候选订单确定所述视频对应的订单信息；

向终端设备推送订单确认界面，以使终端设备基于用户指令确认或否认对应的订单信息，并根据终端设备的确认或者否认动作执行下一步设定的流程；

在完整接收所述后部数据后将所述前部数据和后部数据还原成完整视频。

2.根据权利要求1所述的RPA流程自动化方法，其特征在于，还包括以下步骤：

根据候选订单中关联图片与各画面帧之间的匹配度的最大值对候选订单进行降序排序；

当所述终端设备执行否认动作时，关闭当前订单信息，并将排序中在当前订单后一位的订单信息作为确认对象向终端设备进行推送。

3.根据权利要求1所述的RPA流程自动化方法，其特征在于，在所述在终端设备对待处理的视频进行编码处理的步骤之前，还包括：

根据视频长度和当前网络状态估算传输时间，当传输时间小于阈值时，采取不区分前部数据和后部数据的方式编码后直接传输视频。

4.根据权利要求1所述的RPA流程自动化方法，其特征在于，所述服务器在接收后部数据时，每接收到一个GOP分组后校验是否具有关键帧，若有则直接对GOP分组进行解码或存储，若无则根据索引信息从前部数据获取GOP分组对应的关键帧，从而还原成完整的GOP分组进行解码或存储。

5.根据权利要求1所述的RPA流程自动化方法，其特征在于，所述摘要画面帧每间隔N个GOP分组获取一帧，所述N为正整数。

6.一种RPA流程自动化系统，其特征在于，包括：

终端设备，用于执行以下步骤:

获取待处理的视频，对待处理的视频进行编码处理；

分离视频中的视频数据与音频数据；

音频数据转换为文本数据；

对文本数据进行分词处理并进行词性标注；

根据词性标注内容提取分词结果中的名词；

将所述名词以优先于音频数据传输的优先级上传至服务器；

采用GOP策略对视频进行处理，得到多个GOP分组，每个GOP分组中包括一个关键帧和多个预测帧；

抽取若干个GOP分组的关键帧作为摘要画面帧；其中，按设定规则抽取多个摘要画面帧并配置在编码后的视频数据的前部数据，所述编码后的视频数据的前部数据的传输优先级高于所述视频数据的后部数据；

在被抽取关键帧的GOP分组中加入索引信息，以确定关键帧所在所述前部数据的位置；

服务器，用于执行以下步骤:

接收所述编码后的视频数据时，获取当前在预设时间内的订单信息，根据所述订单信息获取关联图片；

从摘要画面帧中识别出摘要画面帧中物品的类型，得到至少一个候选类型；

根据所述候选类型从预设时间段内的订单信息中匹配对应类型的商品订单，得到至少一个候选订单；

将候选订单的关联图片中的商品区域与各摘要画面帧中的物品区域进行匹配，将匹配度最高的图片组对应的候选订单确定所述视频对应的订单信息；

向终端设备推送订单确认界面，以使终端设备基于用户指令确认或否认对应的订单信息，并根据终端设备的确认或者否认动作执行下一步设定的流程；

在完整接收所述后部数据后将所述前部数据和后部数据还原成完整视频。