期刊文献+
共找到2,739篇文章
< 1 2 137 >
每页显示 20 50 100
基于动态事件触发的异质复杂网络量化同步控制
1
作者 黄玲 郭婧 王云飞 《控制理论与应用》 北大核心 2026年第3期634-642,共9页
本文研究基于节点平均值轨道跟踪的异质复杂网络同步控制.首先,建立异质复杂网络的模型及节点平均值轨道模型.之后,设计动态事件触发条件,减少系统不必要的数据传输,引入对数量化器,构建复杂网络的同步误差模型.接着,利用Lyapunov稳定... 本文研究基于节点平均值轨道跟踪的异质复杂网络同步控制.首先,建立异质复杂网络的模型及节点平均值轨道模型.之后,设计动态事件触发条件,减少系统不必要的数据传输,引入对数量化器,构建复杂网络的同步误差模型.接着,利用Lyapunov稳定性理论及相关引理,得到异质复杂网络最终指数有界同步的充分条件.然后,利用成熟线性矩阵不等式工具箱联合求解控制器和事件触发参数.最后,通过数值例子验证所提方法的有效性. 展开更多
关键词 复杂网络 异质网络 同步控制 事件触发机制 量化
在线阅读 下载PDF
后训练量化方法综述(特邀)
2
作者 张俊娜 王泓尊 丁春涛 《计算机工程》 北大核心 2026年第1期33-60,共28页
后训练量化(PTQ)是一种高效的模型压缩方法,它无需重新训练模型,只需少量(或无需)无标签校准数据即可将高精度浮点模型的参数转换为低比特整数表示。该方法在显著降低存储与计算开销的同时能够最大限度地保留原始模型的推理精度,因而受... 后训练量化(PTQ)是一种高效的模型压缩方法,它无需重新训练模型,只需少量(或无需)无标签校准数据即可将高精度浮点模型的参数转换为低比特整数表示。该方法在显著降低存储与计算开销的同时能够最大限度地保留原始模型的推理精度,因而受到学术界与工业界的广泛关注。从PTQ的量化步骤、方法分类、工具生态、应用进展4个维度,系统总结PTQ的研究进展。首先,构建了量化流程框架,涵盖动态范围统计、量化参数计算、权重与激活量化、误差优化和模型生成等步骤;其次,提出一个完整的量化方法分类体系,从量化粒度、位宽、校准方法到结构导向量化;再次,分析了支持PTQ规模化应用的工具生态,探讨了其在硬件适配和工程部署中的应用价值;最后,总结了PTQ方法的融合与应用进展,并指出PTQ方法在实践中面临的挑战,尤其是跨模态一致性、极低比特语义崩塌与硬件适配等难题。这些实践挑战的总结不仅揭示了当前技术的局限性,也为未来研究提供了重要方向。本综述为学术界与工业界提供了PTQ方法的参考框架,助力推动人工智能在资源受限场景中的广泛应用。 展开更多
关键词 后训练量化 后训练量化步骤 后训练量化方法分类 工具生态 应用进展
在线阅读 下载PDF
基于双重注意力机制的传统服饰图像检索
3
作者 王明远 张优贤 《毛纺科技》 北大核心 2026年第2期110-116,共7页
针对传统服饰图像检索过程中特征描述符构建粗糙、特征编码冗余度高、图像特征提取不充分的问题,提出一种基于双重注意力机制的传统服饰图像检索方法。该方法利用差分成像方法重构传统服饰图像,将重构后图像输入多尺度通道注意力机制中... 针对传统服饰图像检索过程中特征描述符构建粗糙、特征编码冗余度高、图像特征提取不充分的问题,提出一种基于双重注意力机制的传统服饰图像检索方法。该方法利用差分成像方法重构传统服饰图像,将重构后图像输入多尺度通道注意力机制中,获取传统服饰图像多尺度特征;将该特征输入自注意力机制自主学习,获取包含空间和位置信息的特征图;经由2个全连接层组成的哈希网络对特征图编码,计算特征图编码之间的汉明距离;设定三元组量化约束,降低该距离的计算误差,获取前N个结果作为传统服饰图像检索结果。测试结果显示:该方法重构后图像的色彩饱满且不失真,并且信息系数均在0.929以上,弗雷谢特感知距离均低于0.016,能够依据设定的损失函数进行训练并输出检索结果。 展开更多
关键词 注意力机制 传统服饰 图像检索 特征图编码 汉明距离 三元组量化约束
在线阅读 下载PDF
带有事件触发和输入量化的无人船轨迹跟踪控制
4
作者 宁君 王二月 +1 位作者 李铁山 陈俊龙 《控制理论与应用》 北大核心 2026年第3期530-540,共11页
针对航海实践中通信带宽受限问题,本文提出了带有事件触发机制和输入量化的欠驱动无人船(USV)轨迹跟踪控制策略.首先,为了实现对期望轨迹的有效跟踪,补偿因海流造成的运动学偏移,在USV运动学子系统中,利用扩张状态观测器观测偏移量,设... 针对航海实践中通信带宽受限问题,本文提出了带有事件触发机制和输入量化的欠驱动无人船(USV)轨迹跟踪控制策略.首先,为了实现对期望轨迹的有效跟踪,补偿因海流造成的运动学偏移,在USV运动学子系统中,利用扩张状态观测器观测偏移量,设计了基于观测结果的制导律.其次,在USV动力学子系统中,引入径向基神经网络以近似模型不确定性,设计了带有事件触发机制的自适应神经网络量化控制器.针对输入量化为非均匀量化的挑战,本文引入了描述输入量化过程的线性解析模型,在设计系统控制律时无需输入量化参数的先验信息,能够有效增强所设计系统的自适应性与通用性.本文所设计的带有事件触发和输入量化的USV轨迹跟踪控制方法能够降低执行器的控制频率和幅度,从而减轻通信负担.此外,基于输入到状态稳定性理论证明了闭环系统的稳定性,同时证明了闭环系统中无芝诺现象.最后,通过仿真实验验证了所提方法的有效性. 展开更多
关键词 欠驱动无人船舶 扩张状态观测器 输入量化 自适应神经网络控制 事件触发机制
在线阅读 下载PDF
Establishing formal state space models via quantization forquantum control systems 被引量:2
5
作者 DongDaoyi ChenZonghai 《Journal of Systems Engineering and Electronics》 SCIE EI CSCD 2005年第2期398-402,共5页
Formal state space models of quantum control systems are deduced and a scheme to establish formal state space models via quantization could been obtained for quantum control systems is proposed. State evolution of qua... Formal state space models of quantum control systems are deduced and a scheme to establish formal state space models via quantization could been obtained for quantum control systems is proposed. State evolution of quantum control systems must accord with Schrdinger equations, so it is foremost to obtain Hamiltonian operators of systems. There are corresponding relations between operators of quantum systems and corresponding physical quantities of classical systems, such as momentum, energy and Hamiltonian, so Schrdinger equation models of corresponding quantum control systems via quantization could been obtained from classical control systems, and then establish formal state space models through the suitable transformation from Schrdinger equations for these quantum control systems. This method provides a new kind of path for modeling in quantum control. 展开更多
关键词 quantum control systems formal state space models quantization.
在线阅读 下载PDF
Fast encoding algorithm for vector quantization based on subvector L_2-norm 被引量:1
6
作者 Chen Shanxue Li Fangwei Zhu Weile 《Journal of Systems Engineering and Electronics》 SCIE EI CSCD 2008年第3期611-617,共7页
A fast encoding algorithm based on the mean square error (MSE) distortion for vector quantization is introduced. The vector, which is effectively constructed with wavelet transform (WT) coefficients of images, can... A fast encoding algorithm based on the mean square error (MSE) distortion for vector quantization is introduced. The vector, which is effectively constructed with wavelet transform (WT) coefficients of images, can simplify the realization of the non-linear interpolated vector quantization (NLIVQ) technique and make the partial distance search (PDS) algorithm more efficient. Utilizing the relationship of vector L2-norm and its Euclidean distance, some conditions of eliminating unnecessary codewords are obtained. Further, using inequality constructed by the subvector L2-norm, more unnecessary codewords are eliminated. During the search process for code, mostly unlikely codewords can be rejected by the proposed algorithm combined with the non-linear interpolated vector quantization technique and the partial distance search technique. The experimental results show that the reduction of computation is outstanding in the encoding time and complexity against the full search method. 展开更多
关键词 image compression fast encoding subvector wavelet transform vector quantization.
在线阅读 下载PDF
自适应动态选择尺度的ViT后训练量化模型研究
7
作者 裴颂文 彭宇昂 +2 位作者 刘方鑫 陈铭松 张波 《小型微型计算机系统》 北大核心 2026年第1期142-149,共8页
后训练量化方法无需重新训练神经网络,且对数据集的依赖性小,是一种轻量且实用的模型压缩技术.然而,现有的量化范式未能有效地拟合post-Softmax激活的分布特性,并且在重新参数化post-LayerNorm激活后,精度不可避免地出现下降.因此,本文... 后训练量化方法无需重新训练神经网络,且对数据集的依赖性小,是一种轻量且实用的模型压缩技术.然而,现有的量化范式未能有效地拟合post-Softmax激活的分布特性,并且在重新参数化post-LayerNorm激活后,精度不可避免地出现下降.因此,本文提出了一种自适应动态选择量化尺度的变换器后训练量化框架DAQ-ViT.DAQ-ViT首先提出了一种基于偏度度量的缩放因子分布选择器,解决了post-LayerNorm激活存在显著的通道间变化所导致的精度下降问题.其次,针对post-Softmax和post-GELU激活分布特性,提出了满足分布特性的Sigmoid量化器.此外,提出了感知分布检测器,自适应感知激活值分布情况,从而动态选择Sigmoid量化和log2量化.实验结果表明,在没有输出重建的情况下与PTQ4ViT相比,DAQ-ViT进行4比特量化时,在DeiT-Tiny和DeiT-Small上的精度分别提高了20%和35%. 展开更多
关键词 模型压缩 模型量化 后训练量化 图像分类 视觉变换器
在线阅读 下载PDF
一种基于内存对齐的大模型混合精度量化方法
8
作者 李章明 关伟凡 +2 位作者 常政威 张凌浩 胡庆浩 《图学学报》 北大核心 2026年第1期39-46,共8页
随着大模型规模的不断增长,模型推理的内存占用和计算开销成为重要挑战。模型量化是降低模型资源消耗的有效方法,但现有方法在权重量化过程中存在离群点处理不足、量化精度损失显著以及内存访问效率低下等问题。为此,提出一种内存对齐... 随着大模型规模的不断增长,模型推理的内存占用和计算开销成为重要挑战。模型量化是降低模型资源消耗的有效方法,但现有方法在权重量化过程中存在离群点处理不足、量化精度损失显著以及内存访问效率低下等问题。为此,提出一种内存对齐的大模型混合精度量化方法,通过将模型参数表示成不同位宽的量化参数实现混合精度量化方法,在降低模型存储的同时缓解量化带来的精度损失问题。具体来说,基于小组显著性分析划分权重离群点,将模型参数按单指令多数据流(SIMD)单元对齐分组,并依据显著性对不同小组采用8 bit或2 bit量化;针对2 bit量化可能导致的精度损失,引入分块量化补偿策略。此外,设计了一种高效的混合精度权重打包与存储方案,通过位图(Bitmap)记录数据块位宽类型,支持随机访问。实验结果表明,该方法在保证模型精度的同时,显著降低了内存占用并提升了计算效率。通过在Llama2-7 B,13 B和70 B上进行验证,相比最先进的方法,在WikiText2和C4数据集上的困惑度(PPL)分别下降8.13,2.84,1.37及5.80,并且量化后的70 B模型相对BF16权重存储约减87%。此外在7个QA数据集上平均准确率提升6.24%。其结果表明,基于内存对齐的大模型混合精度量化方法能够同时提升压缩率、访存效率与模型性能。 展开更多
关键词 大模型压缩 训练后量化 低比特量化 混合精度量化 离群点划分
在线阅读 下载PDF
边缘联邦学习中的量化感知训练及安全挑战
9
作者 雷程宇 吴黎兵 +3 位作者 张壮壮 王恩澍 霍丽娟 冯佳琪 《小型微型计算机系统》 北大核心 2026年第4期927-936,共10页
传统量化模型虽能降低模型复杂度、降低推理开销,但其量化扰动也会带来一定的性能损失.量化感知训练旨在提高神经网络对量化扰动的鲁棒性.为了使联邦学习中的边缘设备在计算资源受限的情况下进行实时推理,本文将量化感知训练引入边缘联... 传统量化模型虽能降低模型复杂度、降低推理开销,但其量化扰动也会带来一定的性能损失.量化感知训练旨在提高神经网络对量化扰动的鲁棒性.为了使联邦学习中的边缘设备在计算资源受限的情况下进行实时推理,本文将量化感知训练引入边缘联邦学习场景,并提出了量化感知边缘联邦学习框架.在该框架中,量化后的全局模型部署在终端,并且不会产生过大性能损失,从而解决了边缘设备对用户推理需求实时快速响应与自身算力不足的矛盾.此外,本文发现在联邦学习中引入量化感知训练会带来一定的安全风险,攻击者可以利用量化感知训练恶意模型.进一步地,本文也提出了两种联邦量化攻击.实验结果表明本文所提方法在CIFAR10数据集上,使用ResNet18训练的全局模型在被量化至4-bit时仍保持62%的准确率,相较于传统的边缘联邦学习方法提升30%.另外,联邦量化攻击在8-bit量化下的攻击成功率相比现有工作提升10%. 展开更多
关键词 联邦学习 量化扰动 边缘联邦学习 量化感知训练
在线阅读 下载PDF
基于差分的多级量化共享密钥提取方案
10
作者 李琼 陈纯毅 +3 位作者 张振忠 于波 于海洋 胡小娟 《计算机应用》 北大核心 2026年第3期839-846,共8页
合法通信双方可以利用无线信道状态的随机特性提取符合信息论安全的共享密钥序列。为了提高无线信道提取密钥的效率,提出一种基于差分的多级量化共享密钥提取方案。该方案采用随机调制对无线信道进行高频采样,并引入融合随机抽样差分的... 合法通信双方可以利用无线信道状态的随机特性提取符合信息论安全的共享密钥序列。为了提高无线信道提取密钥的效率,提出一种基于差分的多级量化共享密钥提取方案。该方案采用随机调制对无线信道进行高频采样,并引入融合随机抽样差分的自适应符号量化(ASQ)和均衡化多比特修正量化(BMMQ)这2个算法处理一阶差分序列,以获得原始密钥序列。在此基础上,应用信息协商算法纠正原始密钥中不一致的比特,并使用原始密钥及一阶差分序列重构信号,再对该信号进行二次量化,最终实现合法通信双方的密钥同步。实验结果表明,随机抽样差分能够将相邻样本点之间的相关系数降低至e^(-1)以下,有效降低密钥序列中的统计依赖性;在信噪比(SNR)为25 dB的条件下,ASQ算法可在保持原始密钥提取率(OKER)为0.86的同时,将密钥不一致率(KDR)降低至3.8×10^(-5);在无损量化的条件下,BMMQ算法可以把KDR降低至7×10^(-3)。最终生成的共享密钥序列通过了NIST(National Institute of Standards and Technology)随机性测试,验证了密钥的安全性和有效性。 展开更多
关键词 无线信道 密钥提取 多级量化 随机抽样 信号重构
在线阅读 下载PDF
大语言模型低比特量化的历史、现状和未来:以复域量化为例
11
作者 丛培壮 王飞宇 +3 位作者 王国安 王砚舒 郑策 杨仝 《计算机研究与发展》 北大核心 2026年第2期276-293,共18页
随着大语言模型(large language model,LLM)参数规模的指数级增长,模型部署和推理面临着严峻的内存和计算资源挑战。量化技术作为模型压缩的核心方法,通过降低权重和激活值的数值精度,显著减少了模型的存储需求和计算开销。首先回顾了... 随着大语言模型(large language model,LLM)参数规模的指数级增长,模型部署和推理面临着严峻的内存和计算资源挑战。量化技术作为模型压缩的核心方法,通过降低权重和激活值的数值精度,显著减少了模型的存储需求和计算开销。首先回顾了量化技术的发展历程,从经典的Int8/4量化方法到前沿的超低比特量化算法,总结了典型方法的技术特征与性能演进规律,指出传统实数域量化在极低比特条件下存在受限于离散化误差的挑战,难以突破性能上限。为此,进而系统性地梳理了复域量化系列工作。该系列工作提出了基于复数域的量化范式,通过在参数表示中引入幅度与相位2个自由度,显著扩展了模型的表达空间;此外,类比信号处理中通过将时域信号进行傅里叶变换与低通滤波实现稳定表示的经典范式,进一步提出了由实数模型经复域变换与复域量化,达成了无乘法稳定推理的技术路线。实验结果表明,该方案在多个基准数据集上优于现有超低比特量化方法,有效突破了实数域模型的性能天花板,展现出复域量化在高效建模与性能保持方面的潜在价值。总体而言,通过对量化技术演进及复域量化系列研究的系统分析,旨在揭示超低比特量化的发展规律与未来趋势,为高效大模型的理论研究与工程实现提供参考。 展开更多
关键词 大语言模型 模型量化 低比特量化 模型压缩 复数模型
在线阅读 下载PDF
基于采样量化降维观测器的切换非线性系统非周期触发预定性能控制
12
作者 薛璐倩 王春艳 《燕山大学学报》 北大核心 2026年第1期55-67,共13页
针对具有未知控制方向和任意切换信号的切换非线性系统,研究了非周期事件触发输出反馈预定性能控制问题。首先基于采样量化输出,给出一种新的模型依赖的降维神经网络量化观测器来估计不可测状态,降低了系统观测成本。其次,提出一种新的... 针对具有未知控制方向和任意切换信号的切换非线性系统,研究了非周期事件触发输出反馈预定性能控制问题。首先基于采样量化输出,给出一种新的模型依赖的降维神经网络量化观测器来估计不可测状态,降低了系统观测成本。其次,提出一种新的依赖切换信号的非周期事件触发策略,该策略克服了现有文献中控制器与对应子系统同步切换的假设,也成功避免了常规触发机制中因子系统与匹配控制器异步运行对系统稳定性造成的不利影响。通过递归设计得到的输出反馈控制器保证了闭环系统的所有变量在任意切换下的一致有界性,并且系统的跟踪误差信号轨迹收敛到原点附近尽可能小的预定范围,实现了对具有未知控制方向的切换非线性系统的任意切换输出反馈控制。最后,仿真分析的结果验证了本文所提方法的正确性和有效性。 展开更多
关键词 切换非线性系统 量化降维观测器 非周期事件触发 预定性能 采样量化
在线阅读 下载PDF
权重残差向量量化:向量压缩与分层索引结构
13
作者 江宇轩 姚俊杰 侯宇轩 《软件学报》 北大核心 2026年第3期1104-1120,共17页
随着多源异构数据、多模态等在大模型和数据湖等场景的广泛应用,基于向量的数据检索和存储管理显著增长.通过将异构数据映射为高维向量表示,并以向量索引为基础,向量数据库将多种数据类型统一管理和高质量相似性检索,成为生成式检索和A... 随着多源异构数据、多模态等在大模型和数据湖等场景的广泛应用,基于向量的数据检索和存储管理显著增长.通过将异构数据映射为高维向量表示,并以向量索引为基础,向量数据库将多种数据类型统一管理和高质量相似性检索,成为生成式检索和AI数据库等重要基础.然而,现有向量数据库在存储索引效率、索引构建复杂度及检索准确性方面面临显著瓶颈:(1)海量高维向量导致索引存储开销和维护成本增加;(2)向量索引结构冗长,内存消耗巨大;(3)压缩技术失真引发的检索准确性下降问题仍未有效解决.提出了一种基于权重残差向量量化(weight residual vector quantization,WRVQ)的框架.该方法通过将量化方向与残差长度分离处理,以单位向量形式存储残差方向并附加权重标记,实现了低失真率下的高效压缩与存储.在索引构建方面,设计了适配WRVQ量化特性的3层倒排索引结构——精确匹配层、模糊匹配层与搜索层,有机结合非对称距离计算(asymmetric distance computation,ADC)与近邻搜索技术,实现了高准确度与高效率兼具的近似最近邻检索.在大规模数据集上的实验结果表明,与传统低维嵌入模型及现有量化方法相比,WRVQ在量化损失、存储压缩比和检索召回率等关键指标上均取得了显著提升,且索引构建与查询性能具有显著优势. 展开更多
关键词 向量数据库 向量量化 近似查询处理
在线阅读 下载PDF
面向可重构结构的CNN模型混合压缩方法
14
作者 刘朋飞 蒋林 +1 位作者 李远成 吴海 《现代电子技术》 北大核心 2026年第1期167-173,共7页
随着卷积神经网络规模的不断扩大,其参数量和计算量显著增加,导致硬件面临严重的访存瓶颈,限制了计算效率。为解决这一问题,文中提出一种面向可重构结构的CNN混合压缩新方法,该方法采用先剪枝后量化的策略,通过基于一阶泰勒展开的滤波... 随着卷积神经网络规模的不断扩大,其参数量和计算量显著增加,导致硬件面临严重的访存瓶颈,限制了计算效率。为解决这一问题,文中提出一种面向可重构结构的CNN混合压缩新方法,该方法采用先剪枝后量化的策略,通过基于一阶泰勒展开的滤波器剪枝、基于阈值的全连接层权值剪枝和混合精度自适应量化策略,来减少模型参数量和计算复杂度,并部署在自研的可重构处理器上。实验结果表明,所提方法在VGG16和ResNet18模型上分别实现了31.4倍和7.9倍的压缩比,精度仅下降1.20%和0.74%。在基于VirtexUltraScale VU440 FPGA开发板搭建的可重构阵列处理器上,压缩后的VGG16模型执行周期最大降低了62.7%。证明所提方法适合资源有限的边缘计算设备。 展开更多
关键词 卷积神经网络 模型压缩 结构化剪枝 自适应量化 并行计算 可重构结构
在线阅读 下载PDF
基于贝叶斯网的故障根因分析
15
作者 刘华帅 陶厚国 +1 位作者 岳昆 段亮 《计算机科学》 北大核心 2026年第3期143-150,共8页
故障根因分析旨在找到导致特定问题、故障或事件发生的原因,是多个领域中追踪溯源的重要支撑技术,但现有方法在效率、准确性和稳定性等方面仍不能满足故障根因分析任务的实际需求。对此,将贝叶斯网作为相关属性之间依赖关系表示和推理... 故障根因分析旨在找到导致特定问题、故障或事件发生的原因,是多个领域中追踪溯源的重要支撑技术,但现有方法在效率、准确性和稳定性等方面仍不能满足故障根因分析任务的实际需求。对此,将贝叶斯网作为相关属性之间依赖关系表示和推理的知识框架,提出基于贝叶斯网的故障根因分析方法。首先,针对高维数据和稀疏样本带来的挑战,提出基于向量量化自编码器的高维属性约简算法,并给出α-BIC评分准则,高效地学习根因贝叶斯网(Root Cause Bayesian Network,RCBN)。随后,基于贝叶斯网嵌入技术实现RCBN的高效推理,高效计算各原因条件下故障产生的可能性,进而使用因果模型中的Blame机制度量各原因对给定故障的贡献度,从而实现故障根因分析。在3个公共数据集和3个合成数据集上的实验结果表明,所提方法的平均检测准确性和效率明显优于对比方法,在CHILD数据集上精度提升了7%,运行时间快了60%。 展开更多
关键词 故障根因分析 贝叶斯网 向量量化自编码器 贝叶斯信息准则 根因贡献度
在线阅读 下载PDF
基于分型图谱量化法的德化窑犀角杯造型流变研究
16
作者 徐骁琪 程永胜 景银 《包装工程》 北大核心 2026年第2期179-186,共8页
目的研究德化窑犀角杯造型流变过程,结合德化窑所处区域的人文、地理、文化特征,以此窥探出德化窑的造物文化。方法采用分型图谱量化法,首先择取各种杯型样本,基于考古类型学对不同形制的杯子进行分型分式;其次,提取样本器皿的轮廓线,... 目的研究德化窑犀角杯造型流变过程,结合德化窑所处区域的人文、地理、文化特征,以此窥探出德化窑的造物文化。方法采用分型图谱量化法,首先择取各种杯型样本,基于考古类型学对不同形制的杯子进行分型分式;其次,提取样本器皿的轮廓线,以此建立图谱量化表,整理量化参考值对器皿造型中的关键性因素进行量化;最后,通过数据分析结果探究德化窑白釉犀角杯及其衍生杯型形制的演变规律。结论白釉犀角杯是德化窑特有的杯型,造型极具特色并以此为基础演变出了不同形制的杯子,其造型演变规律反映了德化窑继承性、实用性和应时嬗变等文化特征。 展开更多
关键词 德化窑 白釉犀角杯 造型流变 分型图谱量化法
在线阅读 下载PDF
一种自注意力模块的低精度损失量化方法
17
作者 林德铝 何琨 《计算机研究与发展》 北大核心 2026年第1期162-175,共14页
随着深度学习技术的飞速进步和对海量数据集的持续发掘,自注意力模块在自然语言处理、计算机视觉以及大语言模型等多个领域得到了广泛应用。尽管自注意力模块显著提升了深度学习模型的检测精度,其巨大的计算需求却使得其在算力受限的计... 随着深度学习技术的飞速进步和对海量数据集的持续发掘,自注意力模块在自然语言处理、计算机视觉以及大语言模型等多个领域得到了广泛应用。尽管自注意力模块显著提升了深度学习模型的检测精度,其巨大的计算需求却使得其在算力受限的计算设备上部署显得尤为困难。整数量化作为在低算力计算芯片中部署模型的关键技术之一,面临着由自注意力模块结构特点引起的较高精度损失问题。针对这个问题,对自注意力模块的整数量化误差进行了深入分析,提出了伪softmax向量量化方法和分块伪softmax向量量化方法。所提出方法通过对自注意力模块中的softmax向量进行特殊的整数量化,旨在显著提升推理速度的同时,有效降低整数量化带来的误差。实验结果表明,相比于传统的直接量化方法,伪softmax向量量化方法能够将量化精度损失降低50%,而分块伪softmax向量量化方法更是能将精度损失减少约90%。该结果充分证明了这2种量化方法在减少精度损失方面的有效性,为自注意力模块在算力受限设备上的高效部署提供了有力支持。 展开更多
关键词 模型量化 自注意力模块 低精度损失 推理加速 分治
在线阅读 下载PDF
基于极谐傅里叶矩和自适应归一化的高效鲁棒可逆水印方案
18
作者 高光勇 袁澳奇 付章杰 《计算机学报》 北大核心 2026年第1期179-192,共14页
现有的鲁棒可逆水印(Robust Reversible Watermarking, RRW)方案在抗攻击鲁棒性和可逆嵌入阶段所需辅助信息量两方面仍面临着挑战。针对这一问题,本文提出了一种新的高效鲁棒可逆水印(Efficient Robust Reversible Watermarking, ERRW)... 现有的鲁棒可逆水印(Robust Reversible Watermarking, RRW)方案在抗攻击鲁棒性和可逆嵌入阶段所需辅助信息量两方面仍面临着挑战。针对这一问题,本文提出了一种新的高效鲁棒可逆水印(Efficient Robust Reversible Watermarking, ERRW)方案。本方案使用极谐傅里叶矩(Polar Harmonic Fourier Moments,PHFMs)作为载体嵌入水印,设计了自适应归一化策略以及新的量化索引调制技术和其对应提取公式,以提高嵌水印的鲁棒性并且可以有效减少可逆阶段的辅助信息。第一阶段,通过计算原始图像的PHFMs,采用自适应归一化策略和设计的量化索引调制技术,将鲁棒水印嵌入到PHFMs幅度的整数部分。自适应归一化方法既实现了对像素幅度变化的不变性,又兼顾了鲁棒性和不可感知性,最大限度提高了方案的鲁棒性。第二阶段利用可逆嵌入技术将辅助信息嵌入到鲁棒水印图像中,从而得到最终的水印图像。其目的是实现无攻击下的可逆性,其中辅助信息由哈希值、嵌入误差和舍入误差三部分组成。实验结果表明,在不受攻击的情况下,该方案可以完全恢复原始图像和正确提取水印,并且相比于近年其他方案,本方案对常见图像攻击的鲁棒性性能是最优的。 展开更多
关键词 鲁棒可逆水印 两阶段嵌入 极谐傅里叶矩 量化索引调制
在线阅读 下载PDF
大语言模型混合量化压缩与加速推理技术
19
作者 尹经纬 李志强 刘裕彤 《计算机工程与设计》 北大核心 2026年第1期187-194,共8页
大语言模型已广泛应用于日常学习、工作和生活中,但由于其参数规模庞大、资源消耗高,且推理高度依赖GPU,这严重制约其推广。针对上述问题,论文在CPU环境下提出基于离群特征优化的混合INT8量化方法,充分发挥其在模型压缩中的优势;同时,... 大语言模型已广泛应用于日常学习、工作和生活中,但由于其参数规模庞大、资源消耗高,且推理高度依赖GPU,这严重制约其推广。针对上述问题,论文在CPU环境下提出基于离群特征优化的混合INT8量化方法,充分发挥其在模型压缩中的优势;同时,基于注意力机制在文本首尾集中分布的规律,设计高效的参数快速读取机制。两种方法的有机结合显著减少模型内存消耗和提升推理效率,为解决大语言模型在边缘计算环境中的应用瓶颈提供新的技术方案。在I7-13700 CPU环境下,基于LLaMA2、GPT-J和FSEQ大模型,使用C4、Wikitext和PG19数据集进行全面验证,结果充分验证了所提方法的优越性与实用价值。 展开更多
关键词 大语言模型 离群参数 混合量化 注意力机制 参数快速读取 模型推理 边缘计算
在线阅读 下载PDF
多目视觉下的逆运动学三维人体建模仿真
20
作者 方国宇 李琰泽 +6 位作者 陈凯 赵晓冬 胡子卓 杨明实 武婉晴 王子晨 郭文凯 《系统仿真学报》 北大核心 2026年第1期99-111,共13页
自动驾驶仿真和工业虚拟现实仿真技术中对三维人体建模的准确性和鲁棒性具有较高的需求,现阶段基于关节点进行人体建模存在连续建模抖动、局部扭曲、遮挡适应性差等影响人体模型质量的问题,制约了智能驾驶和数字工厂等实际应用的发展。... 自动驾驶仿真和工业虚拟现实仿真技术中对三维人体建模的准确性和鲁棒性具有较高的需求,现阶段基于关节点进行人体建模存在连续建模抖动、局部扭曲、遮挡适应性差等影响人体模型质量的问题,制约了智能驾驶和数字工厂等实际应用的发展。针对上述问题,提出一种多目视觉下基于向量量化变分自编码器的逆运动学三维人体建模方法,通过梯度下降自动变分方法的联合训练与IK-VQ-VAE(inverse kinematics vector quantised-variational auto encoder)方法相结合,得到了多视角时序融合、遮挡适应且更具鲁棒性的方法,满足更加符合真实人体姿态的需求。在公开数据集Shelf上进行实验,结果显示所提方法的正确部件百分比(PCP)相比近年的优化工作最高提升23.7%,平均提升了8.7%,同时,定性实验分析结果也表明了所提方法对人体3D建模效果优于其他方法。 展开更多
关键词 多目视觉 人体网格恢复 向量量化变分自编码器 三维人体建模 人体姿态
在线阅读 下载PDF
上一页 1 2 137 下一页 到第
使用帮助 返回顶部