在线学习多模态资源匹配的精准性是自适应学习服务效率提升的关键问题,而目前在线学习服务存在着不同模态资源关联特征挖掘浅层化、模态资源表征形式缺乏规范化以及模态资源间智能匹配计算低效化等问题.针对以上问题,本文聚焦在线视频...在线学习多模态资源匹配的精准性是自适应学习服务效率提升的关键问题,而目前在线学习服务存在着不同模态资源关联特征挖掘浅层化、模态资源表征形式缺乏规范化以及模态资源间智能匹配计算低效化等问题.针对以上问题,本文聚焦在线视频与习题资源匹配研究问题,提出了一种基于深度学习的在线视频与习题匹配计算模型DL-VEMC(Online video and exercise matching calculation based on deep learning).首先,通过关键帧提取算法KEA、语音识别技术以及jieba分词技术深度挖掘在线资源多维度特征,实现在线视频与习题预处理;其次,使用CNN、注意力机制以及LSTM等深度学习技术协同开展视频关键帧表征,利用BERT技术对在线视频音频转录文本以及习题文本进行表征,获得在线视频与习题统一化语义表示;最后,融合在线视频与习题的语义信息,利用三层MLP拟合在线视频与习题匹配度值计算函数.实验结果表明,该模型的性能优于现有基线模型,消融实验和实际应用案例也验证了模型的有效性及可行性,为在线视频与习题匹配计算提供了理论依据.展开更多
文摘在线学习多模态资源匹配的精准性是自适应学习服务效率提升的关键问题,而目前在线学习服务存在着不同模态资源关联特征挖掘浅层化、模态资源表征形式缺乏规范化以及模态资源间智能匹配计算低效化等问题.针对以上问题,本文聚焦在线视频与习题资源匹配研究问题,提出了一种基于深度学习的在线视频与习题匹配计算模型DL-VEMC(Online video and exercise matching calculation based on deep learning).首先,通过关键帧提取算法KEA、语音识别技术以及jieba分词技术深度挖掘在线资源多维度特征,实现在线视频与习题预处理;其次,使用CNN、注意力机制以及LSTM等深度学习技术协同开展视频关键帧表征,利用BERT技术对在线视频音频转录文本以及习题文本进行表征,获得在线视频与习题统一化语义表示;最后,融合在线视频与习题的语义信息,利用三层MLP拟合在线视频与习题匹配度值计算函数.实验结果表明,该模型的性能优于现有基线模型,消融实验和实际应用案例也验证了模型的有效性及可行性,为在线视频与习题匹配计算提供了理论依据.
