In recent years,the concept of digital human has attracted widespread attention from all walks of life,and the modelling of high-fidelity human bodies,heads,and hands has been intensively studied.This paper focuses on...In recent years,the concept of digital human has attracted widespread attention from all walks of life,and the modelling of high-fidelity human bodies,heads,and hands has been intensively studied.This paper focuses on head modelling and proposes a generic head parametric model based on neural radiance fields.Specifically,we first use face recognition networks and 3D facial expression database FaceWarehouse to parameterize identity and expression semantics,respectively,and use both as conditional inputs to build a neural radiance field for the human head,thereby improving the head model’s representation ability while ensuring editing capabilities for the identity and expression of the rendered results;then,through a combination of volume rendering and neural rendering,the 3D representation of the head is rapidly rendered into the 2D plane,producing a high-fidelity image of the human head.Thanks to the well-designed loss functions and good implicit representation of the neural radiance field,our model can not only edit the identity and expression independently,but also freely modify the virtual camera position of the rendering results.It has excellent multi-view consistency,and has many applications in novel view synthesis,pose driving and more.展开更多
针对现有深度学习算法在壁画修复时,存在全局语义一致性约束不足及局部特征提取不充分,导致修复后的壁画易出现边界效应和细节模糊等问题,提出一种双向自回归Transformer与快速傅里叶卷积增强的壁画修复方法.首先,设计基于Transformer...针对现有深度学习算法在壁画修复时,存在全局语义一致性约束不足及局部特征提取不充分,导致修复后的壁画易出现边界效应和细节模糊等问题,提出一种双向自回归Transformer与快速傅里叶卷积增强的壁画修复方法.首先,设计基于Transformer结构的全局语义特征修复模块,利用双向自回归机制与掩码语言模型(masked language modeling,MLM),提出改进的多头注意力全局语义壁画修复模块,提高对全局语义特征的修复能力.然后,构建了由门控卷积和残差模块组成的全局语义增强模块,增强全局语义特征一致性约束.最后,设计局部细节修复模块,采用大核注意力机制(large kernel attention,LKA)与快速傅里叶卷积提高细节特征的捕获能力,同时减少局部细节信息的丢失,提升修复壁画局部和整体特征的一致性.通过对敦煌壁画数字化修复实验,结果表明,所提算法修复性能更优,客观评价指标均优于比较算法.展开更多
针对移动机器人领域自适应蒙特卡洛定位算法(Adaptive Monte Carlo Localization,AMCL)在相似及变化场景下易失效的问题,本文提出基于改进YOLOv8构建语义链表为AMCL提供预定位位姿的方法,改变粒子权重更新方式,进而提升定位准确性和鲁棒...针对移动机器人领域自适应蒙特卡洛定位算法(Adaptive Monte Carlo Localization,AMCL)在相似及变化场景下易失效的问题,本文提出基于改进YOLOv8构建语义链表为AMCL提供预定位位姿的方法,改变粒子权重更新方式,进而提升定位准确性和鲁棒性.以YOLOv8为基础,结合信息聚集-分发机制和注意力尺度序列融合模块增强其Neck部分特征融合能力,并对模型进行剪枝,提升精度和速度;利用激光SLAM(Simultaneous Localization And Map-ping)构建二维栅格地图,通过改进的YOLOv8提取物体语义并映射到地图上,得到二维语义地图,根据各连续语义物体之间的关系构建语义链表;在定位过程中,将机器人识别到的物体语义信息与语义链表进行匹配,为AMCL提供预定位位姿,改变其粒子更新方式进行精确定位,并基于词袋模型降低免疫障碍物遮挡导致的语义链断裂.在相似及变化场景下进行定位对比实验,实验结果验证了本文算法的有效性.展开更多
ReLM(Rephrasing Language Model)是当前性能领先的中文拼写纠错(CSC)模型。针对它在复杂语义场景中存在特征表达不足的问题,提出深层语义特征增强的ReLM——FeReLM(Feature-enhanced Rephrasing Language Model)。该模型利用深度可分...ReLM(Rephrasing Language Model)是当前性能领先的中文拼写纠错(CSC)模型。针对它在复杂语义场景中存在特征表达不足的问题,提出深层语义特征增强的ReLM——FeReLM(Feature-enhanced Rephrasing Language Model)。该模型利用深度可分离卷积(DSC)技术融合特征提取模型BGE(BAAI General Embeddings)生成的深层语义特征与ReLM生成的整体特征,从而有效提升模型对复杂上下文的解析力和拼写错误的识别纠正精度。首先,在Wang271K数据集上训练FeReLM,使模型持续学习句子中的深层语义和复杂表达;其次,迁移训练好的权重,从而将模型学习到的知识应用于新的数据集并进行微调。实验结果表明,在ECSpell和MCSC数据集上与ReLM、MCRSpell(Metric learning of Correct Representation for Chinese Spelling Correction)和RSpell(Retrieval-augmented Framework for Domain Adaptive Chinese Spelling Check)等模型相比,FeReLM的精确率、召回率、F1分数等关键指标的提升幅度可达0.6~28.7个百分点。此外,通过消融实验验证了所提方法的有效性。展开更多
随着移动通信技术的发展演进,6G(6th-Generation)网络作为新一代智能化数字信息基础设施,将不再仅聚焦信号的传输和复现,更需要基于电磁传播过程实现对周围环境的高效感知和理解,从而获取信道语义知识,协助智能通信体的预测、决策、波...随着移动通信技术的发展演进,6G(6th-Generation)网络作为新一代智能化数字信息基础设施,将不再仅聚焦信号的传输和复现,更需要基于电磁传播过程实现对周围环境的高效感知和理解,从而获取信道语义知识,协助智能通信体的预测、决策、波束成形等.因此,相较于传统信道而言,赋予无线信道模型对物理环境的语义理解、重构、表达能力,已成为智能无线信道模型的重要特征.本文提出了一种无线信道语义的分析和建模方法,将信道语义定义为状态语义、行为语义和事件语义3种层级,分别对应信道瞬态多径、信道时变轨迹和信道拓扑结构.此外,基于车载通感一体化(Integrated Sensing And Communication,ISAC)信道测量系统,开展了28 GHz下面向信道语义表征的无线信道测量,基于实测数据对信道语义进行解构、标识、建模,重点分析了3种不同语义下的信道多径分布特性,完成了语义导向的信道生成,结果表明信道语义模型能够在生成较准确信道的同时,表达更丰富的语义信息.本文工作是在语义层面上探索智能信道建模的新方法,通过深入挖掘无线信道的内在语义特征,促进通信系统在理解和认知环境方面的能力,从而提高通信效率和质量.展开更多
文摘In recent years,the concept of digital human has attracted widespread attention from all walks of life,and the modelling of high-fidelity human bodies,heads,and hands has been intensively studied.This paper focuses on head modelling and proposes a generic head parametric model based on neural radiance fields.Specifically,we first use face recognition networks and 3D facial expression database FaceWarehouse to parameterize identity and expression semantics,respectively,and use both as conditional inputs to build a neural radiance field for the human head,thereby improving the head model’s representation ability while ensuring editing capabilities for the identity and expression of the rendered results;then,through a combination of volume rendering and neural rendering,the 3D representation of the head is rapidly rendered into the 2D plane,producing a high-fidelity image of the human head.Thanks to the well-designed loss functions and good implicit representation of the neural radiance field,our model can not only edit the identity and expression independently,but also freely modify the virtual camera position of the rendering results.It has excellent multi-view consistency,and has many applications in novel view synthesis,pose driving and more.
文摘针对现有深度学习算法在壁画修复时,存在全局语义一致性约束不足及局部特征提取不充分,导致修复后的壁画易出现边界效应和细节模糊等问题,提出一种双向自回归Transformer与快速傅里叶卷积增强的壁画修复方法.首先,设计基于Transformer结构的全局语义特征修复模块,利用双向自回归机制与掩码语言模型(masked language modeling,MLM),提出改进的多头注意力全局语义壁画修复模块,提高对全局语义特征的修复能力.然后,构建了由门控卷积和残差模块组成的全局语义增强模块,增强全局语义特征一致性约束.最后,设计局部细节修复模块,采用大核注意力机制(large kernel attention,LKA)与快速傅里叶卷积提高细节特征的捕获能力,同时减少局部细节信息的丢失,提升修复壁画局部和整体特征的一致性.通过对敦煌壁画数字化修复实验,结果表明,所提算法修复性能更优,客观评价指标均优于比较算法.
文摘针对移动机器人领域自适应蒙特卡洛定位算法(Adaptive Monte Carlo Localization,AMCL)在相似及变化场景下易失效的问题,本文提出基于改进YOLOv8构建语义链表为AMCL提供预定位位姿的方法,改变粒子权重更新方式,进而提升定位准确性和鲁棒性.以YOLOv8为基础,结合信息聚集-分发机制和注意力尺度序列融合模块增强其Neck部分特征融合能力,并对模型进行剪枝,提升精度和速度;利用激光SLAM(Simultaneous Localization And Map-ping)构建二维栅格地图,通过改进的YOLOv8提取物体语义并映射到地图上,得到二维语义地图,根据各连续语义物体之间的关系构建语义链表;在定位过程中,将机器人识别到的物体语义信息与语义链表进行匹配,为AMCL提供预定位位姿,改变其粒子更新方式进行精确定位,并基于词袋模型降低免疫障碍物遮挡导致的语义链断裂.在相似及变化场景下进行定位对比实验,实验结果验证了本文算法的有效性.
文摘ReLM(Rephrasing Language Model)是当前性能领先的中文拼写纠错(CSC)模型。针对它在复杂语义场景中存在特征表达不足的问题,提出深层语义特征增强的ReLM——FeReLM(Feature-enhanced Rephrasing Language Model)。该模型利用深度可分离卷积(DSC)技术融合特征提取模型BGE(BAAI General Embeddings)生成的深层语义特征与ReLM生成的整体特征,从而有效提升模型对复杂上下文的解析力和拼写错误的识别纠正精度。首先,在Wang271K数据集上训练FeReLM,使模型持续学习句子中的深层语义和复杂表达;其次,迁移训练好的权重,从而将模型学习到的知识应用于新的数据集并进行微调。实验结果表明,在ECSpell和MCSC数据集上与ReLM、MCRSpell(Metric learning of Correct Representation for Chinese Spelling Correction)和RSpell(Retrieval-augmented Framework for Domain Adaptive Chinese Spelling Check)等模型相比,FeReLM的精确率、召回率、F1分数等关键指标的提升幅度可达0.6~28.7个百分点。此外,通过消融实验验证了所提方法的有效性。
文摘随着移动通信技术的发展演进,6G(6th-Generation)网络作为新一代智能化数字信息基础设施,将不再仅聚焦信号的传输和复现,更需要基于电磁传播过程实现对周围环境的高效感知和理解,从而获取信道语义知识,协助智能通信体的预测、决策、波束成形等.因此,相较于传统信道而言,赋予无线信道模型对物理环境的语义理解、重构、表达能力,已成为智能无线信道模型的重要特征.本文提出了一种无线信道语义的分析和建模方法,将信道语义定义为状态语义、行为语义和事件语义3种层级,分别对应信道瞬态多径、信道时变轨迹和信道拓扑结构.此外,基于车载通感一体化(Integrated Sensing And Communication,ISAC)信道测量系统,开展了28 GHz下面向信道语义表征的无线信道测量,基于实测数据对信道语义进行解构、标识、建模,重点分析了3种不同语义下的信道多径分布特性,完成了语义导向的信道生成,结果表明信道语义模型能够在生成较准确信道的同时,表达更丰富的语义信息.本文工作是在语义层面上探索智能信道建模的新方法,通过深入挖掘无线信道的内在语义特征,促进通信系统在理解和认知环境方面的能力,从而提高通信效率和质量.
