在线学习多模态资源匹配的精准性是自适应学习服务效率提升的关键问题,而目前在线学习服务存在着不同模态资源关联特征挖掘浅层化、模态资源表征形式缺乏规范化以及模态资源间智能匹配计算低效化等问题.针对以上问题,本文聚焦在线视频...在线学习多模态资源匹配的精准性是自适应学习服务效率提升的关键问题,而目前在线学习服务存在着不同模态资源关联特征挖掘浅层化、模态资源表征形式缺乏规范化以及模态资源间智能匹配计算低效化等问题.针对以上问题,本文聚焦在线视频与习题资源匹配研究问题,提出了一种基于深度学习的在线视频与习题匹配计算模型DL-VEMC(Online video and exercise matching calculation based on deep learning).首先,通过关键帧提取算法KEA、语音识别技术以及jieba分词技术深度挖掘在线资源多维度特征,实现在线视频与习题预处理;其次,使用CNN、注意力机制以及LSTM等深度学习技术协同开展视频关键帧表征,利用BERT技术对在线视频音频转录文本以及习题文本进行表征,获得在线视频与习题统一化语义表示;最后,融合在线视频与习题的语义信息,利用三层MLP拟合在线视频与习题匹配度值计算函数.实验结果表明,该模型的性能优于现有基线模型,消融实验和实际应用案例也验证了模型的有效性及可行性,为在线视频与习题匹配计算提供了理论依据.展开更多
基于Kinect的骨骼追踪系统是虚拟现实技术在教学应用中的研究热点之一。目标是通过用Kinect for Windows SDK提供的NUI API可以实时准确地捕获人体的骨骼运动轨迹、景深数据、图像等信息,同时获取每个骨骼点的信息,把三维骨骼数据的世...基于Kinect的骨骼追踪系统是虚拟现实技术在教学应用中的研究热点之一。目标是通过用Kinect for Windows SDK提供的NUI API可以实时准确地捕获人体的骨骼运动轨迹、景深数据、图像等信息,同时获取每个骨骼点的信息,把三维骨骼数据的世界坐标系转化为二维数据的图像像素坐标系,再通过降噪滤波每个骨骼数据并显示渲染图像,最终开发基于体感控制的智能教学系统应用案例。经过实验显示该系统可取得较高的精度识别,提高了人机交互的效率性和自然性。展开更多
文摘在线学习多模态资源匹配的精准性是自适应学习服务效率提升的关键问题,而目前在线学习服务存在着不同模态资源关联特征挖掘浅层化、模态资源表征形式缺乏规范化以及模态资源间智能匹配计算低效化等问题.针对以上问题,本文聚焦在线视频与习题资源匹配研究问题,提出了一种基于深度学习的在线视频与习题匹配计算模型DL-VEMC(Online video and exercise matching calculation based on deep learning).首先,通过关键帧提取算法KEA、语音识别技术以及jieba分词技术深度挖掘在线资源多维度特征,实现在线视频与习题预处理;其次,使用CNN、注意力机制以及LSTM等深度学习技术协同开展视频关键帧表征,利用BERT技术对在线视频音频转录文本以及习题文本进行表征,获得在线视频与习题统一化语义表示;最后,融合在线视频与习题的语义信息,利用三层MLP拟合在线视频与习题匹配度值计算函数.实验结果表明,该模型的性能优于现有基线模型,消融实验和实际应用案例也验证了模型的有效性及可行性,为在线视频与习题匹配计算提供了理论依据.
文摘基于Kinect的骨骼追踪系统是虚拟现实技术在教学应用中的研究热点之一。目标是通过用Kinect for Windows SDK提供的NUI API可以实时准确地捕获人体的骨骼运动轨迹、景深数据、图像等信息,同时获取每个骨骼点的信息,把三维骨骼数据的世界坐标系转化为二维数据的图像像素坐标系,再通过降噪滤波每个骨骼数据并显示渲染图像,最终开发基于体感控制的智能教学系统应用案例。经过实验显示该系统可取得较高的精度识别,提高了人机交互的效率性和自然性。
