[发明专利]互动记录的生成方法、装置、设备及介质

权利要求书

1.一种互动记录的生成方法，其特征在于，包括：

从多媒体数据流中，采集所述多媒体数据流所表征的用户的行为数据，所述行为数据中包括语音信息和/或操作信息；

基于所述行为数据，生成与所述行为数据对应的互动记录数据；

所述行为数据包括操作信息，所述生成与所述行为数据对应的互动记录数据，包括：

确定所述操作信息中的操作对象和操作行为，基于所述操作对象和操作行为的关联关系，生成互动记录数据；

所述操作信息包括文档共享操作信息，则所述操作对象包括共享文档，所述操作行为包括文档共享的行为，所述基于所述行为数据，生成与所述行为数据对应的互动记录数据，包括：

基于所述共享文档确定与所述共享文档关联的文档共享地址和/或存储地址，并基于所述共享地址和/或存储地址生成所述互动记录数据；

将所述互动记录数据发送至目标客户端，以在所述目标客户端展示所述互动记录数据；

通过对操作信息中的操作对象进行信息提取，所述生成与所述行为数据对应的互动记录数据，包括：

基于图像识别确定与所述操作信息相对应的目标图像中的目标元素；

基于所述目标元素生成与所述行为数据对应的互动记录；

其中，所述目标图像包括与共享文档对应的图像和/或与共享屏幕对应的图像。

2.根据权利要求1所述的方法，其特征在于，所述操作信息包括屏幕共享操作信息，则所述操作对象包括共享屏幕，所述操作行为包括对所述共享屏幕的共享行为，所述基于所述行为数据，生成与所述行为数据对应的互动记录数据，包括：

基于所述共享屏幕确定所述共享屏幕中的标识信息，并基于所述标识信息生成所述互动记录数据。

3.根据权利要求1所述的方法，其特征在于，所述基于所述行为数据，生成与所述行为数据对应的互动记录数据，包括：

对所述语音信息进行声纹识别，确定语音信息所对应的发言用户；

对所述语音信息进行语音识别，得到语音识别结果；

基于所述发言用户和所述语音识别结果的关联，生成与所述行为数据对应的互动记录数据。

4.根据权利要求1所述的方法，其特征在于，所述采集所述多媒体数据流所表征的用户的行为数据，包括：

采集录屏视频中的语音信息以及操作信息。

5.根据权利要求1所述的方法，其特征在于，所述多媒体数据流为基于实时互动界面产生的数据流，所述从多媒体数据流中，采集所述多媒体数据流所表征的用户的行为数据，包括：

若接收到生成互动记录的请求信息时，基于所述请求信息实时采集各个用户的行为数据。

6.根据权利要求5所述的方法，其特征在于，所述采集所述多媒体数据流所表征的用户的行为数据，包括：

接收客户端采集各个用户的语音信息，和/或接收与触发操作相对应的请求信息，确定与所述请求信息对应的操作信息。

7.根据权利要求6所述的方法，其特征在于，如果所述行为数据包括操作信息，所述确定所述操作信息中的操作对象和操作行为，基于所述操作对象和操作行为的关联关系，生成互动记录数据，包括：

当检测到触发屏幕共享操作时，识别所述共享屏幕中的标识性信息；

基于所述标识性信息、触发操作以及所述共享屏幕的视频帧，确定所述操作信息；

基于所述操作信息，生成与所述行为数据对应的互动记录数据；

其中，所述标识性信息包括所述共享屏幕中的链接。

8.根据权利要求1所述的方法，其特征在于，如果所述行为数据包括语音信息，所述基于所述行为数据，生成与所述行为数据对应的互动记录数据，包括：

对所述语音信息进行语音识别，基于对所述语音信息的语音识别结果，生成所述互动记录数据。