期刊文献+
共找到46篇文章
< 1 2 3 >
每页显示 20 50 100
迎接“AI+设计”:以彩色化技术研究进展为例 被引量:3
1
作者 夏天琳 李宇航 +3 位作者 黄丽婷 丁友东 姜佳琦 黄文宣 《包装工程》 CAS 北大核心 2024年第6期177-187,共11页
目的以彩色化技术为主要研究内容,从人工智能结合设计的角度重点阐述了彩色化研究的技术特点及适用场景,结合人工智能背景对智能设计发展趋势进行思考和总结。方法首先,对人工智能彩色化研究的技术需求、应用场景进行融合分析,推导人工... 目的以彩色化技术为主要研究内容,从人工智能结合设计的角度重点阐述了彩色化研究的技术特点及适用场景,结合人工智能背景对智能设计发展趋势进行思考和总结。方法首先,对人工智能彩色化研究的技术需求、应用场景进行融合分析,推导人工智能与设计创作结合的可能性;其次,对彩色化传统方法与人工智能基础技术进行调研,以交互设计的理念为灵感启发,将人工智能的彩色化方法分为显式交互彩色化和隐式交互彩色化并进行归纳和总结;最后讨论研究彩色化技术的应用对象、预处理步骤和实践体验。结果总结概括彩色化技术结合人工智能设计的发展趋势与未来技术重点。结论“AI+设计”的趋势背景下,以彩色化为代表的人工智能数字图像处理技术正成为设计师的辅助工具,在科技、艺术、影视、人文等领域展现出交叉融合的大趋势。 展开更多
关键词 彩色化 人工智能设计 深度学习 图像处理
在线阅读 下载PDF
3D电影视觉舒适性研究综述 被引量:3
2
作者 戴帅凡 田丰 +2 位作者 黄超 唐海峰 吕炜 《上海大学学报(自然科学版)》 CAS CSCD 北大核心 2017年第3期364-377,共14页
良好的视觉舒适性是改善3D观影体验的核心内容.影响视觉舒适性的原因可以分为观影心理因素和观影生理因素,已有研究具体包括视觉疲劳诱发因素分析、3D电影舒适度评估、3D电影舒适度改善.基于相关研究成果,阐述了3D视觉舒适性研究现状,... 良好的视觉舒适性是改善3D观影体验的核心内容.影响视觉舒适性的原因可以分为观影心理因素和观影生理因素,已有研究具体包括视觉疲劳诱发因素分析、3D电影舒适度评估、3D电影舒适度改善.基于相关研究成果,阐述了3D视觉舒适性研究现状,归纳了3D视觉疲劳度的诱发因素,总结了3D视觉舒适度评估的实验方法,并对已有的评估模型进行分类,整理了3D视觉舒适性解决方案,分析了当前研究重点及其相互关系.最后展望了3D电影视觉舒适性研究未来的发展方向. 展开更多
关键词 立体视觉 视觉舒适性 舒适度评估 舒适度改善
在线阅读 下载PDF
当代知名电影色彩模式研究 被引量:7
3
作者 田丰 华旻磊 《电影文学》 北大核心 2020年第10期28-35,共8页
色彩研究在影视和其他视觉设计领域有着重要的价值,现已有较多的定性分析研究。针对缺乏电影色彩定量研究的问题,通过自主研制电影内容数据抽取和分析平台生成影彩纹,探索电影色彩创作规律,按均匀对称、主次色调、特征分割聚类当代知名... 色彩研究在影视和其他视觉设计领域有着重要的价值,现已有较多的定性分析研究。针对缺乏电影色彩定量研究的问题,通过自主研制电影内容数据抽取和分析平台生成影彩纹,探索电影色彩创作规律,按均匀对称、主次色调、特征分割聚类当代知名电影色彩模式,从视觉元素、地域、类型角度分析色彩运用的特征,比对结果展示不同类型、时代、导演对电影色彩的认知和使用偏好。本研究建设电影色彩艺术知识库,其成果和方法能够为未来电影色彩的传承、融合、创新提供参考和服务。 展开更多
关键词 影彩纹 时间环 色彩模式 视觉元素
在线阅读 下载PDF
EEG神经电影学探究与VR视觉研究方案 被引量:4
4
作者 杨群 田丰 +1 位作者 候晓菲 褚灵伟 《电子测量技术》 2019年第2期15-22,共8页
"神经电影学"的概念兴起以来,认知神经学与电影学交叉研究为两个领域的突破带来了更多可能。脑电波(EEG)作为重要的认知神经学研究方法之一,已与电影结下了密切联系。在介绍EEG原理的基础上,与功能性磁共振成像(FMRI)技术进... "神经电影学"的概念兴起以来,认知神经学与电影学交叉研究为两个领域的突破带来了更多可能。脑电波(EEG)作为重要的认知神经学研究方法之一,已与电影结下了密切联系。在介绍EEG原理的基础上,与功能性磁共振成像(FMRI)技术进行了应用比较,对电影学和认知神经科学的交叉发展进行了探究。最后,为了跨越式探索VR视觉语言规则,突破基于创作、试错、总结、评价的传统影视艺术研究方法,利用EEG神经电影学交叉研究路径,提出虚拟现实(VR)视觉艺术研究具体方案。 展开更多
关键词 脑电波 情绪模型 神经电影学 VR视觉艺术
在线阅读 下载PDF
基于自适应特征校准的区域感知图像和谐化
5
作者 谢志峰 梁佳佳 +2 位作者 夏世宇 李梦甜 马利庄 《计算机辅助设计与图形学学报》 北大核心 2025年第4期635-643,共9页
为了进一步提升图像和谐化质量,提出基于自适应特征校准的区域感知图像和谐化方法.首先,采用多层次的编码器提取多尺度特征;然后,在跳跃连接处设计自适应特征校准模块,降低局部含偏特征对解码器重构过程的干扰;其次,构建区域感知Transfo... 为了进一步提升图像和谐化质量,提出基于自适应特征校准的区域感知图像和谐化方法.首先,采用多层次的编码器提取多尺度特征;然后,在跳跃连接处设计自适应特征校准模块,降低局部含偏特征对解码器重构过程的干扰;其次,构建区域感知Transformer增强上下文信息交互,并且在不同尺度上利用背景特征的统计信息调制前景特征;最后,通过解码器逐层重构出和谐化结果.在公开的图像和谐化iHarmony4数据集上的实验结果表明,所提方法在PSNR, MSE和fMSE指标上分别达到了39.83 dB, 19.25和206.40,均优于目前的主流方法. 展开更多
关键词 图像和谐化 Swin Transformer 特征校准
在线阅读 下载PDF
基于分组鲁棒主成分分析的老电影修复 被引量:2
6
作者 于冰 丁友东 +1 位作者 董荪 黄曦 《上海大学学报(自然科学版)》 CAS CSCD 北大核心 2017年第3期315-323,共9页
以老电影视频为研究对象,针对序列中存在的多种损伤类别,提出一种基于分组鲁棒主成分分析(robust principal component analysis,RPCA)的统一修复方法.采用镜头分割和去闪烁实现对视频序列的预处理.在多分辨率金字塔框架下,采用时空域... 以老电影视频为研究对象,针对序列中存在的多种损伤类别,提出一种基于分组鲁棒主成分分析(robust principal component analysis,RPCA)的统一修复方法.采用镜头分割和去闪烁实现对视频序列的预处理.在多分辨率金字塔框架下,采用时空域分组的方式在最粗糙层构造观测矩阵,依次执行基于交替线性法的RPCA变换后,根据帧间误差信息得到大面积破损位置;利用上采样方式构造初步修复结果序列、破损掩模序列以及最近邻偏移矩阵集合,继而对原始序列进行修改,重复时空域分组RPCA变换,实现对老电影视频序列的修复.实验结果证明,该方法能够同时修复画面中的不同损伤,并取得良好的效果. 展开更多
关键词 老电影 视频修复 鲁棒主成分分析
在线阅读 下载PDF
基于双流网络融合的三维人体网格重建
7
作者 于冰 程广 +1 位作者 黄东晋 丁友东 《图学学报》 北大核心 2025年第3期625-634,共10页
三维人体网格重建在计算机视觉、动画制作和虚拟现实等领域具有重要的应用价值。然而,目前大多数方法主要聚焦于单幅图像的三维人体重建,如何从视频数据中准确、平滑地重建三维人体动作仍然是一个难题。为此,提出了一种双流网络融合结构... 三维人体网格重建在计算机视觉、动画制作和虚拟现实等领域具有重要的应用价值。然而,目前大多数方法主要聚焦于单幅图像的三维人体重建,如何从视频数据中准确、平滑地重建三维人体动作仍然是一个难题。为此,提出了一种双流网络融合结构,以三维人体姿态为中介,在视频数据中实现三维人体网格重建。首先,利用三维姿态估计流网络对输入视频进行三维关节点估计,获得精确的关节信息;其次,通过时序特征聚合流网络提取视频的时序图像特征,捕获人体运动位置信息和时序姿态特征信息;最后,设计融合解码器,将三维关节点、时序图像特征与SMPL模板提供的网格结构进行回归,预测三维网格顶点坐标。实验结果表明,该方法相对于MPS-Net方法具有更好的预测精度,在3DPW数据集上比MPS-Net的平均关节位置误差(MPJPE)低了9.3%;在MPI-INF-3DHP数据集上比MPS-Net的MPJPE低了9.2%,同时重建结果在视觉效果上更为合理,展现出更高的准确性和平滑性。 展开更多
关键词 三维人体重建 SMPL模型 注意力机制 双流网络结构 时空信息关联
在线阅读 下载PDF
基于关节结构依赖的三维人体姿态估计与优化策略
8
作者 汪彬姿 宁欣 +1 位作者 疏洋 丁友东 《计算机应用研究》 北大核心 2025年第4期1268-1273,共6页
由于面临着固有的深度模糊和潜在的遮挡,单目三维人体姿态估计仍充满着挑战。为了缓解不确定性,提出了一个轻量高效的三维人体姿态估计模型,充分利用人体关节的结构依赖关系,通过两个局部约束增强策略对高自由度关节施加额外约束;设计... 由于面临着固有的深度模糊和潜在的遮挡,单目三维人体姿态估计仍充满着挑战。为了缓解不确定性,提出了一个轻量高效的三维人体姿态估计模型,充分利用人体关节的结构依赖关系,通过两个局部约束增强策略对高自由度关节施加额外约束;设计了一个基于扩散模型的后处理框架,通过对多假设结果逐步去噪并加以骨长约束,优化带噪声的三维姿态。该方法在Human3.6M数据集上相比同类方法,在两个常用指标上分别提升了3%和4.5%,验证了其优越性。 展开更多
关键词 扩散模型 三维人体姿态估计 图卷积神经网络 TRANSFORMER
在线阅读 下载PDF
基于情绪一致性的三维人脸重建
9
作者 黄东晋 俞乐洋 +2 位作者 石永生 郑楚 钱纪宇 《上海大学学报(自然科学版)》 北大核心 2025年第3期475-486,共12页
从单目RGB图片中重建三维人脸是一项非常具有挑战性的计算机视觉任务.由于缺乏带有人脸表情标签的数据集,目前大多数三维人脸重建方案都缺乏对人脸表情的有效监督,导致不能准确还原输入人脸的表情信息.因此,提出一种基于情绪一致性的三... 从单目RGB图片中重建三维人脸是一项非常具有挑战性的计算机视觉任务.由于缺乏带有人脸表情标签的数据集,目前大多数三维人脸重建方案都缺乏对人脸表情的有效监督,导致不能准确还原输入人脸的表情信息.因此,提出一种基于情绪一致性的三维人脸重建方法,在训练时引入情绪感知一致性损失,对人脸情绪形成自监督,从而隐式地激励重建人脸与输入人脸具有一致的面部表情.此外,还提出一种轻量级人脸重建框架,用MobileNetV2代替深度网络ResNet50来回归人脸参数,以提升模型在CPU端的推理速度.实验结果表明,本方法能够基于单张人脸图像高质量地重建三维人脸模型;在人脸表情捕捉准确度和三维人脸重建精度两方面均优于一些主流的人脸重建方法.同时,所采用的轻量级人脸重建框架显著提升了模型在CPU端的推理速度,拓展了模型在计算资源受限场景下的应用前景. 展开更多
关键词 三维人脸重建 情绪一致性 自监督 MobileNetV2
在线阅读 下载PDF
基于生成对抗网络的HDR图像风格迁移技术 被引量:8
10
作者 谢志峰 叶冠桦 +2 位作者 闫淑萁 何绍荣 丁友东 《上海大学学报(自然科学版)》 CAS CSCD 北大核心 2018年第4期524-534,共11页
针对高动态范围(high dynamic range,HDR)图像较为复杂耗时的合成流程,提出一种基于生成对抗网络的HDR图像风格迁移技术.首先,构建两个生成对抗网络的训练集:普通图片与低曝光HDR图片,普通图片与高曝光HDR图片;然后,通过生成对抗网络训... 针对高动态范围(high dynamic range,HDR)图像较为复杂耗时的合成流程,提出一种基于生成对抗网络的HDR图像风格迁移技术.首先,构建两个生成对抗网络的训练集:普通图片与低曝光HDR图片,普通图片与高曝光HDR图片;然后,通过生成对抗网络训练,得到普通图片到低曝光HDR图片和普通图片到高曝光HDR图片两个生成模型;最后,将模型输出的高低曝光图像和原图合成HDR文件,再通过色调映射形成最终HDR风格迁移后的图像.实验结果表明,这种方法不仅有效解决了HDR图像风格迁移问题,也充分表明了生成对抗网络在图像编辑中的优越性. 展开更多
关键词 生成对抗网络 伽马校正 图像编辑 图像风格迁移 深度学习
在线阅读 下载PDF
基于改进JPS算法的电影群体动画全局路径规划 被引量:6
11
作者 黄东晋 雷雪 +2 位作者 蒋晨凤 陈燕敏 丁友东 《上海大学学报(自然科学版)》 CAS CSCD 北大核心 2018年第5期694-702,共9页
目前,电影场景中的群体动画路径一般是静态设置的,以镜头拍摄效果为主,因而存在路径不连续、动画制作效率低等问题.提出一种新的电影群体动画全局路径规划算法,在跳点搜索(jump-point search, JPS)算法的基础上引入Bezier曲线和群体密... 目前,电影场景中的群体动画路径一般是静态设置的,以镜头拍摄效果为主,因而存在路径不连续、动画制作效率低等问题.提出一种新的电影群体动画全局路径规划算法,在跳点搜索(jump-point search, JPS)算法的基础上引入Bezier曲线和群体密度信息进行路径编辑和优化.首先,采用JPS算法自动生成群体运动路径,得到可编辑的路径节点作为Bezier曲线的控制点,并利用Bezier曲线对路径进行调整,解决路径中存在的折线、偏转角度大、不平滑等问题.然后,在JPS算法规划好的路径节点上设置群体密度信息,并根据密度信息调整智能体的速度以及运动方向,解决群体运动堵塞和个体碰撞问题.实验结果证实了该算法的可行性,在保证镜头效果的情况下,能够逼真地模拟大规模群体运动,大大提高了群体动画运动路径的制作效率,适用于各种复杂电影场景. 展开更多
关键词 电影制作 群体动画 跳点搜索算法 路径优化 密度信息
在线阅读 下载PDF
基于多自主智能体的电影混战群体仿真 被引量:2
12
作者 黄东晋 李贺娟 +2 位作者 段思文 肖帆 丁友东 《上海大学学报(自然科学版)》 CAS CSCD 北大核心 2018年第4期512-523,共12页
群体动画一直是电影制作领域具有挑战性的研究热点.针对目前电影混战场景数字化仿真存在的运动模式单一、真实感较差、工作量大等问题,提出基于多自主智能体的电影混战群体仿真方法.首先,根据场景规模和角度智能划分作战区域,并建立相... 群体动画一直是电影制作领域具有挑战性的研究热点.针对目前电影混战场景数字化仿真存在的运动模式单一、真实感较差、工作量大等问题,提出基于多自主智能体的电影混战群体仿真方法.首先,根据场景规模和角度智能划分作战区域,并建立相应的局部KD树(K-dimension tree);然后,在个体角色具有视觉感知、避障、逃避、智能调用动作数据等行为的基础上,对混战场景中的群体角色进行智能控制,实现群体聚集、追随、智能搜索攻击目标等行为.实验结果表明,该方法是可行的,能够较好地模拟电影混战场景中复杂的多角色智能运动,且具有较高的逼真度. 展开更多
关键词 多自主智能体 KD树 混战场景 群体动画 电影制作
在线阅读 下载PDF
基于子帧缝合的老电影大面积破损修复 被引量:1
13
作者 夏天然 丁友东 +1 位作者 于冰 黄曦 《上海大学学报(自然科学版)》 CAS CSCD 北大核心 2018年第4期503-511,共9页
相较于噪声、斑点和划痕,大面积破损一直是老电影修复的一大难点.考虑到老电影序列中包含丰富的前后帧信息,提出一种基于子帧缝合的老电影帧画面修复方法.首先,在修复前对电影序列进行镜头分割和帧画面预处理,在选定破损帧的前后参考帧... 相较于噪声、斑点和划痕,大面积破损一直是老电影修复的一大难点.考虑到老电影序列中包含丰富的前后帧信息,提出一种基于子帧缝合的老电影帧画面修复方法.首先,在修复前对电影序列进行镜头分割和帧画面预处理,在选定破损帧的前后参考帧后,再根据破损帧的破损范围框选破损子帧和对应前后参考子帧;然后,将破损子帧作为黑帧处理,通过前后参考子帧插值得出合适的中间子帧;最后,将得到的中间子帧缝合于原破损帧的破损区域,进而完成老电影的大面积破损修复.该方法针对性地解决了老电影存在的大面积破损问题,亦可作为初步修复工具协助人工完成老电影大面积破损的半自动修复. 展开更多
关键词 老电影 帧修复 双向帧插值 块匹配 图像缝合
在线阅读 下载PDF
基于深度学习的图像抠图技术 被引量:5
14
作者 王榕榕 徐树公 黄剑波 《上海大学学报(自然科学版)》 CAS CSCD 北大核心 2022年第2期261-269,共9页
图像抠图(image matting)技术是图像编辑技术的基础,广泛应用于影视后期制作和日常生活.基于深度学习的图像抠图网络,通过输入的原图和三元图来估计每个像素的α值.在原下、上采样的图像抠图技术基础上,针对抠图数据集图像差异较大容易... 图像抠图(image matting)技术是图像编辑技术的基础,广泛应用于影视后期制作和日常生活.基于深度学习的图像抠图网络,通过输入的原图和三元图来估计每个像素的α值.在原下、上采样的图像抠图技术基础上,针对抠图数据集图像差异较大容易造成网络收敛较慢的问题,在每个卷积层后加入了批量标准化(batch normalization,BN)层,对输入数据进行归一化操作,加快模型收敛速度,同时参数更新方向更符合数据集整体特性;针对抠图任务需要更关注物体边缘部分的特点,使用可变形卷积(deformable convolution)层替换普通卷积层.可变形卷积层会根据不同输入数据自适应学习卷积核形状,有效扩大感受野范围,在细节部分有更好的预测效果. 展开更多
关键词 深度学习 图像抠图 语义分割 预测
在线阅读 下载PDF
虚拟现实电影中穿越事件对观众感知的影响 被引量:4
15
作者 田丰 戴帅凡 +2 位作者 董凤龙 张芷依 褚灵伟 《上海大学学报(自然科学版)》 CAS CSCD 北大核心 2018年第4期535-544,共10页
虚拟现实(virtual reality,VR)电影中,穿越事件具有强烈的冲击感知和沉浸表现.为了探索VR电影创作中的事件布局与运动设计规则,研制穿越事件感知测量平台,并通过任务型驱动实验研究观众反应时间与运动方位、运动速度和静止深度的关系,... 虚拟现实(virtual reality,VR)电影中,穿越事件具有强烈的冲击感知和沉浸表现.为了探索VR电影创作中的事件布局与运动设计规则,研制穿越事件感知测量平台,并通过任务型驱动实验研究观众反应时间与运动方位、运动速度和静止深度的关系,完成穿越事件对沉浸、舒适和情绪的主观评分,建立穿越事件感知模型.实验结果表明:反应时间标准偏差随着深度的增加而显著增加;右侧目标丢失率低且主观感受良好;正上方和正下方的舒适度最低,紧张程度最高,且分别是丢失率最低和最高点,其中最低点的沉浸感最低;低速(20 m/s)时,静止在中部(14 m)的目标往往更快被注意,而高速(20 m/s)时,中部的目标更容易丢失. 展开更多
关键词 立体视觉 视觉舒适性 舒适度评估 舒适度改善
在线阅读 下载PDF
一种新的面向电影场景搭建的自然手势交互方法 被引量:3
16
作者 黄东晋 陈燕敏 +1 位作者 李金遥 雷雪 《计算机应用与软件》 北大核心 2021年第6期46-51,共6页
电影虚拟预演所需的三维场景搭建要求能够高效地初步将导演的构想付诸于影像,但传统计算机辅助设计工具的交互方式存在效率低的问题,限制了导演等非专业三维设计人士的场景构思。因此提出一种新的面向电影场景搭建的自然手势交互方法。... 电影虚拟预演所需的三维场景搭建要求能够高效地初步将导演的构想付诸于影像,但传统计算机辅助设计工具的交互方式存在效率低的问题,限制了导演等非专业三维设计人士的场景构思。因此提出一种新的面向电影场景搭建的自然手势交互方法。根据电影虚拟预演特性和相关手势理论,设计一组有效的三维场景搭建手势集;在Unity3D中构建基于虚拟现实的电影场景搭建徒手手势用户界面;通过用户实验对该方法进行评估,实验结果表明该方法是可行的,相比传统方法更具有自然易用性。 展开更多
关键词 虚拟预演 三维场景搭建 手势交互 用户界面
在线阅读 下载PDF
虚拟现实设计中的本体元素与测量方法研究 被引量:3
17
作者 田丰 侯晓菲 朱蕴文 《电子测量技术》 2020年第12期32-39,共8页
虚拟现实(VR)已成为技术支撑下的新艺术表现形式。对虚拟现实设计中的本体元素进行分类,以用户参与感知视角探讨虚拟现实影视内容设计评价方案,在空间设计中讨论了存在感、沉浸感和空间认知3个测量元素;在叙事设计中讨论了记忆能力、参... 虚拟现实(VR)已成为技术支撑下的新艺术表现形式。对虚拟现实设计中的本体元素进行分类,以用户参与感知视角探讨虚拟现实影视内容设计评价方案,在空间设计中讨论了存在感、沉浸感和空间认知3个测量元素;在叙事设计中讨论了记忆能力、参与设计和探索设计3个元素。最后结合最新研究成果,展望面向沉浸式虚拟现实设计的测量目标,并根据以往研究,提出利用脑电波、皮肤电和心率等电子测量可以为虚拟现实设计提供客观参考的观点。搭建主客观测量相结合的平台,使用生理因素、实验任务和主观量表,并对VR作品进行计算,将得到的运动、视差、亮度等作品元素与测量数据共同分析,以实现更加具体的评估。 展开更多
关键词 虚拟现实 本体测量 空间设计 叙事设计
在线阅读 下载PDF
技术“书写”传奇影像叙事 被引量:2
18
作者 王腾飞 张璇譞 丁友东 《电影文学》 北大核心 2023年第17期22-25,共4页
自21世纪以来,在技术能力不断增强的基础上,呈现出众多神话剧、科幻剧、武侠剧以及各种神秘的传奇剧,众多相关影视作品被制作出来,这一现象值得关注。因此,从技术的角度,考察其“书写”之传奇影像,在形成的一批批影视叙事文本中,思考不... 自21世纪以来,在技术能力不断增强的基础上,呈现出众多神话剧、科幻剧、武侠剧以及各种神秘的传奇剧,众多相关影视作品被制作出来,这一现象值得关注。因此,从技术的角度,考察其“书写”之传奇影像,在形成的一批批影视叙事文本中,思考不同形态下,哪些元素被技术改造和利用,如何重构叙事背后当下人们的价值观与意识形态,进而思考在新时代背景之下,如何借助技术进一步发展与创新。 展开更多
关键词 传奇 技术 空间 时间 影像叙事
在线阅读 下载PDF
基于强化和模仿学习的多智能体寻路干扰者鉴别通信机制 被引量:1
19
作者 李梦甜 向颖岑 +1 位作者 谢志峰 马利庄 《计算机应用研究》 CSCD 北大核心 2024年第8期2474-2480,共7页
现有的基于通信学习的多智能体路径规划(multi-agent path finding,MAPF)方法大多可扩展性较差或者聚合了过多冗余信息,导致通信低效。为解决以上问题,提出干扰者鉴别通信机制(DIC),通过判断视场(field of view,FOV)中央智能体的决策是... 现有的基于通信学习的多智能体路径规划(multi-agent path finding,MAPF)方法大多可扩展性较差或者聚合了过多冗余信息,导致通信低效。为解决以上问题,提出干扰者鉴别通信机制(DIC),通过判断视场(field of view,FOV)中央智能体的决策是否因邻居的存在而改变来学习排除非干扰者的简洁通信,成功过滤了冗余信息。同时进一步实例化DIC,开发了一种新的高度可扩展的分布式MAPF求解器,基于强化和模仿学习的干扰者鉴别通信算法(disruptor identifiable communication based on reinforcement and imitation learning algorithm,DICRIA)。首先,由干扰者鉴别器配合DICRIA的策略输出层识别出干扰者;其次,在两轮通信中分别完成对干扰者与通信意愿发送方的信息更新;最后,DICRIA根据各模块的编码结果输出最终决策。实验结果表明,DICRIA的性能几乎在所有环境设置下都优于其他同类求解器,且相比基线求解器,成功率平均提高了5.2%。尤其在大尺寸地图的密集型问题实例下,DICRIA的成功率相比基线求解器甚至提高了44.5%。 展开更多
关键词 多智能体 路径规划 强化学习 模仿学习 干扰者鉴别通信
在线阅读 下载PDF
基于结构化潜码引导NeRF的语音驱动人脸重演 被引量:1
20
作者 谢志峰 郑迦恒 +2 位作者 王吉 梁佳佳 马利庄 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2024年第10期1616-1624,共9页
语音驱动的人脸重演的目标是生成与输入语音内容相匹配的高保真人脸面部动画.然而,由于音频与视频模态之间存在鸿沟,当前方法难以实现高质量的面部重演.针对现有方法保真度低、唇音同步效果差等问题,提出一种基于结构化潜码引导隐式神... 语音驱动的人脸重演的目标是生成与输入语音内容相匹配的高保真人脸面部动画.然而,由于音频与视频模态之间存在鸿沟,当前方法难以实现高质量的面部重演.针对现有方法保真度低、唇音同步效果差等问题,提出一种基于结构化潜码引导隐式神经表示的语音驱动人脸重演方法,以人脸点云序列作为中间表示,将语音驱动人脸重演分解为跨模态映射和神经辐射场渲染两大任务分别解决.首先,通过跨模态映射从音频预测人脸表情系数,利用人脸三维重建技术获得人脸身份系数;然后,基于3DMM模型合成人脸点云动画序列;接着,使用顶点位置信息构建结构化隐式神经表示,回归场景中每个采样点的密度和颜色值;最后,通过体绘制技术渲染人脸RGB帧,并装配到原图像中.在多个时长为3~5 min的单人演讲视频上的可视化比较、量化评估、主观评估等实验结果表明,文中所提方法在唇音同步效果与图像生成精度上优于AD-NeRF等方法,能够实现高保真语音驱动人脸重演. 展开更多
关键词 音频驱动人脸重演 隐式神经表示 神经辐射场 跨模态
在线阅读 下载PDF
上一页 1 2 3 下一页 到第
使用帮助 返回顶部