期刊文献+
共找到17篇文章
< 1 >
每页显示 20 50 100
高效还原式二值神经网络
1
作者 曾凯 万子鑫 +1 位作者 王铭涛 沈韬 《电子学报》 北大核心 2025年第2期568-580,共13页
将权重分布、激活分布和梯度尽可能地还原为原始全精度网络数据,能够极大提高二值网络的推理能力.然而,现有方法将正向传播中的还原操作直接作用于二值数据,同时用以控制反向传播的梯度近似函数均为固定或手动方式确定,导致二值网络的... 将权重分布、激活分布和梯度尽可能地还原为原始全精度网络数据,能够极大提高二值网络的推理能力.然而,现有方法将正向传播中的还原操作直接作用于二值数据,同时用以控制反向传播的梯度近似函数均为固定或手动方式确定,导致二值网络的还原效率有待改进.针对这一问题,构建了高效还原式二值神经网络.首先提出面向信息熵最大的分布恢复方法,通过对原始全精度权重均值平移和模长缩放,使量化后的二值权重直接具备分布最大还原特性,同时采用基于简单统计的平移和缩放因子,极大提高了权重和激活的还原效率;进一步提出基于自适应分布近似的梯度函数,根据当前全精度数据的实际分布,以P分位动态确定当前梯度的更新范围,进而自适应改变近似函数的形状,使训练过程中的梯度得到高效更新,从而提高了模型的收敛能力.在保证执行效率提升的前提下,通过理论分析证实了本文方法能够使二值数据达到最大程度还原.与当前现有的先进二值网络模型相比本文方法实验结果表现优异,其中针对ResNet-18和ResNet-20量化的分布还原操作计算时间开销分别下降了60%和67%;同时在CIFAR-10数据集上针对VGG-Small二值量化取得93.0%的准确率,在ImageNet数据集上针对ResNet-18二值量化取得61.9%的准确率,均为当前二值神经网络的最佳性能表现.相关代码开源在https://github.com/sjmp525/IA/tree/ER-BNN. 展开更多
关键词 二值神经网络 信息还原 信息熵最大 自适应梯度
在线阅读 下载PDF
面向FPGA的二值神经网络模型压缩方法研究 被引量:4
2
作者 陈胤杰 裴颂文 《小型微型计算机系统》 CSCD 北大核心 2024年第6期1356-1362,共7页
针对卷积神经网络在正向推理时的高计算复杂度与空间复杂度问题,提出了一种基于二值神经网络(Binary Neural Network,BNN)的过滤器剪枝算法(Binary Filter Pruning:BFP). BFP算法通过剪除L2范数较小的过滤器,构建剪枝压缩后的二值神经... 针对卷积神经网络在正向推理时的高计算复杂度与空间复杂度问题,提出了一种基于二值神经网络(Binary Neural Network,BNN)的过滤器剪枝算法(Binary Filter Pruning:BFP). BFP算法通过剪除L2范数较小的过滤器,构建剪枝压缩后的二值神经网络模型.进一步面向FPGA(Field Programmable Gate Array)平台,设计并实现了基于二值复值神经网络(Binary Complex Neural Network,BCNN)的ResNet-18加速计算模型.对二值复值卷积层与预处理过程中的卷积层,分别设计了数据预处理合并优化与数据重排序.实验结果显示,BFP算法在CIFAR-10数据集上的分类精度,比基于SLR(Surrogate Lagrangian Relaxation)的通道剪枝方法平均提高了1%.与CPU平台相比,设计的加速器在PYNQ-Z1平台上的计算性能提高了23倍. 展开更多
关键词 二值神经网络 过滤器剪枝 FPGA 模型压缩
在线阅读 下载PDF
基于二值神经网络的辐射源信号识别方法
3
作者 王慧赋 梅明飞 +2 位作者 齐亮 柴恒 陶诗飞 《系统工程与电子技术》 EI CSCD 北大核心 2024年第11期3912-3919,共8页
针对用于辐射源信号识别的神经网络存在参数冗余、运算量庞大等问题,提出一种基于二值神经网络的辐射源信号识别方法。该方法指出利用卷积层效用值衡量神经网络卷积层的重要性,根据卷积层效用值的大小,将重要的卷积层保留为实值,其余卷... 针对用于辐射源信号识别的神经网络存在参数冗余、运算量庞大等问题,提出一种基于二值神经网络的辐射源信号识别方法。该方法指出利用卷积层效用值衡量神经网络卷积层的重要性,根据卷积层效用值的大小,将重要的卷积层保留为实值,其余卷积层进行二值化处理。实验结果表明,在信噪比大于-9 dB时,采用该方法得到的二值神经网络的信号识别准确率相比于实值卷积神经网络降低了0.5%,而网络参数内存大小降低了83.4%,网络运算次数降低了83.8%,网络运算复杂度降低了85.8%,易于部署在各种硬件平台上。 展开更多
关键词 辐射源信号识别 二值神经网络 卷积层效用 网络复杂度
在线阅读 下载PDF
基于自适应梯度优化的二值神经网络 被引量:3
4
作者 王子为 鲁继文 周杰 《电子学报》 EI CAS CSCD 北大核心 2023年第2期257-266,共10页
二值神经网络由于在储存空间和计算上的高效性,在视觉任务中被广泛运用.为了训练不可导的二值网络,直通近似(Straight-Through Estimator)和S型近似(Sigmoid)等多种松弛优化方法被用来拟合量化函数.但是,这些方法存在两个问题:(1)由于... 二值神经网络由于在储存空间和计算上的高效性,在视觉任务中被广泛运用.为了训练不可导的二值网络,直通近似(Straight-Through Estimator)和S型近似(Sigmoid)等多种松弛优化方法被用来拟合量化函数.但是,这些方法存在两个问题:(1)由于松弛函数和量化算子的差异导致的梯度失配;(2)由于激活值饱和引起的梯度消失.量化函数自身的特性使二值网络梯度的准确性和有效性无法同时保证.本文提出了基于自适应梯度优化的二值神经网络(Adaptive Gradient based Binary Neural Networks,AdaBNN),其通过自适应地寻找梯度准确性和有效性之间的最佳平衡来解决梯度失配和梯度消失的问题.具体而言,本文从理论上证明了梯度准确性和有效性之间的矛盾,并通过比较松弛梯度的范数和松弛梯度与真实梯度之间的差距,构建了这一平衡的度量标准.因此,二值神经网络能根据所提出的度量调整松弛函数,从而得到有效训练.在ImageNet数据集上的实验表明,本文的方法相较于被广泛使用的BNN网络将top-1准确率提升了17.1%. 展开更多
关键词 二值神经网络 梯度饱和 梯度失配 自适应梯度 图像分类
在线阅读 下载PDF
基于ARM+FPGA平台的二值神经网络加速方法研究 被引量:6
5
作者 孙孝辉 宋庆增 +1 位作者 金光浩 姜文超 《计算机应用研究》 CSCD 北大核心 2020年第3期779-783,共5页
现有的卷积神经网络由于其结构复杂且依赖的数据集庞大,难以满足某些实际应用或者计算平台对运算性能的要求和能耗的限制。针对这些应用或计算平台,对基于ARM+FPGA平台的二值化算法进行了研究,并设计了二值神经网络,该网络减少了数据对... 现有的卷积神经网络由于其结构复杂且依赖的数据集庞大,难以满足某些实际应用或者计算平台对运算性能的要求和能耗的限制。针对这些应用或计算平台,对基于ARM+FPGA平台的二值化算法进行了研究,并设计了二值神经网络,该网络减少了数据对存储单元的需求量,也降低了运算的复杂度。在ARM+FPGA平台内部实现时,通过将卷积的乘累加运算转换为XNOR逻辑运算和popcount等操作,提高了整体的运算效率,降低了对能源和资源的消耗。同时,根据二值神经网络中数据存储的特点提出了新的行处理改进算法,提高了网络的吞吐量。该实现方式在GOPS、能源和资源效率方面均优于现有的FPGA神经网络加速方法。 展开更多
关键词 二值神经网络 现场可编程门阵列 异或运算 行处理算法
在线阅读 下载PDF
融合RBF的二值神经网络推荐模型 被引量:6
6
作者 雷妍 贾连印 +3 位作者 李孟娟 左喻灏 游进国 李晓武 《计算机应用与软件》 北大核心 2019年第3期76-80,共5页
随着网络通信技术的快速发展和互联网信息资源的大规模扩张,信息过载问题日益严重,传统的信息服务使得这一问题得到缓解。但对具有海量条目的信息,用户要根据自己的喜欢找到想要的目标并不容易。为了解决该问题,提出一种融合径向基函数(... 随着网络通信技术的快速发展和互联网信息资源的大规模扩张,信息过载问题日益严重,传统的信息服务使得这一问题得到缓解。但对具有海量条目的信息,用户要根据自己的喜欢找到想要的目标并不容易。为了解决该问题,提出一种融合径向基函数(RBF)的二值化卷积神经网络的推荐模型。该模型建立在卷积神经网络的基础上将输入数据预处理为0或1,极大节省数据存储空间并提高推荐效率。利用RBF建立可信任的亲属网络,根据亲属网络中的相似用户筛选出有用信息并进行分析做出相应推荐。针对电影推荐进行实验,实验结果表明该方法是有效可行的。 展开更多
关键词 推荐 神经网络 深度学习 径向基核函数
在线阅读 下载PDF
基于二值化神经网络的大规模储能电站电池容量衰退预测
7
作者 杨夯 郭宜果 +5 位作者 黄小庆 文普同 谢丹 薄其滨 付一木 李静璇 《电力科学与技术学报》 北大核心 2025年第2期227-234,共8页
大规模储能电站的电池单体数量庞大。传统卷积神经网络在电池容量衰退预测中具备较高的预测精度,但其对计算资源需求较高,限制了其在储能电站电池管理系统中的应用。为此,提出一种基于二值化神经网络(binary neuval network,BNN)的电池... 大规模储能电站的电池单体数量庞大。传统卷积神经网络在电池容量衰退预测中具备较高的预测精度,但其对计算资源需求较高,限制了其在储能电站电池管理系统中的应用。为此,提出一种基于二值化神经网络(binary neuval network,BNN)的电池容量衰退预测方法。首先,设计一个将网络权重和激活函数二值化的轻量化模型,并以电池的放电容量-电压曲线作为输入,输出关键参数的累积分布函数值。其次,通过二分法求解该参数,并将其代入双曲线方程进行容量衰退预测。最后,基于锂电池公开数据集仿真表明:在预测精度与传统神经网络模型相当的情况下,所提模型的参数量减少48.9%,预测速度提升22.37%,可降低模型复杂度和设备算力成本,为大规模储能电站电池管理提供一个更高效、更轻量的预测方法。 展开更多
关键词 储能电站 电池容量 衰退预测 神经网络 卷积神经网络
在线阅读 下载PDF
IR-GCN:二值图卷积神经网络推理加速器
8
作者 于启航 文渊博 杜子东 《高技术通讯》 CAS 北大核心 2024年第10期1024-1035,共12页
针对图卷积神经网络(GCN)中数据规模庞大、不适合边缘端低功耗处理器高效推理计算的问题,本文提出一种将新型二值数据量化算法(IR-Net)应用于GCN模型推理计算的方法,并设计了对应的硬件加速器IR-GCN。同时,针对计算过程中工作负载分布... 针对图卷积神经网络(GCN)中数据规模庞大、不适合边缘端低功耗处理器高效推理计算的问题,本文提出一种将新型二值数据量化算法(IR-Net)应用于GCN模型推理计算的方法,并设计了对应的硬件加速器IR-GCN。同时,针对计算过程中工作负载分布不均衡的问题,实现了一种负载均衡模块设计,显著提高了计算效率。实验结果表明,在较小精度损失范围内,IR-GCN加速器可以同时降低计算延迟以及访存开销。与现有性能最优的研究相比,IR-GCN加速器平均具有2.4倍的计算加速比、7.9倍的功耗降低、13.7倍的芯片面积减少以及21.0倍的访存量降低。 展开更多
关键词 图卷积神经网络(GCN) 二值神经网络(BNN) 硬件加速器
在线阅读 下载PDF
Bi-SCNN:二值随机混合神经网络加速器
9
作者 于启航 文渊博 杜子东 《高技术通讯》 北大核心 2024年第12期1243-1255,共13页
二值神经网络(BNN)具有硬件友好的特性,但为了保证计算精度,在输入层仍需要使用浮点或定点计算,增加了硬件开销。针对该问题,本文将另一种同样具有硬件友好特性的随机计算方法应用于BNN,实现了BNN输入层的高效计算,并设计了二值随机混... 二值神经网络(BNN)具有硬件友好的特性,但为了保证计算精度,在输入层仍需要使用浮点或定点计算,增加了硬件开销。针对该问题,本文将另一种同样具有硬件友好特性的随机计算方法应用于BNN,实现了BNN输入层的高效计算,并设计了二值随机混合计算架构Bi-SCNN。首先,在BNN输入层使用高精度的随机运算单元,实现了与定点计算近似的精度;其次,通过在处理单元(PE)内和PE间2个层次对随机数生成器进行复用,并优化运算单元,有效降低了硬件开销;最后,根据输入数据的特性对权值配置方式进行优化,进而降低了整体计算延迟。相比于现有性能最优的BNN加速器,Bi-SCNN在保证计算精度的前提下,实现了2.4倍的吞吐量、12.6倍的能效比和2.2倍的面积效率提升,分别达到2.2 TOPS、7.3 TOPS·W^(-1)和1.8 TOPS·mm^(-2)。 展开更多
关键词 二值神经网络(BNN) 随机计算(SC) 神经网络加速器
在线阅读 下载PDF
面向高能效加速器的二值化神经网络设计和训练方法
10
作者 李佳骏 许浩博 +4 位作者 王郁杰 肖航 王颖 韩银和 李晓维 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2023年第6期961-969,共9页
针对二值化神经网络加速器计算溢出和乘法器依赖的问题,提出一套二值化神经网络设计及其训练方法.首先设计能够模拟溢出的矩阵乘法,保证模型部署后不丢失准确率;然后优化卷积层和激活函数,缓解溢出总量;再设计移位批标准化层,使二值化... 针对二值化神经网络加速器计算溢出和乘法器依赖的问题,提出一套二值化神经网络设计及其训练方法.首先设计能够模拟溢出的矩阵乘法,保证模型部署后不丢失准确率;然后优化卷积层和激活函数,缓解溢出总量;再设计移位批标准化层,使二值化神经网络摆脱对乘法运算的依赖,并有效地降低访存;最后针对改进的模型提出基于溢出启发的协同训练框架,确保模型训练能够收敛.实验结果表明,与10个主流的关键词激活方法相比,在准确率无明显损失的情况下,所提方法使片上计算规模减少超过49.1%,并为加速器带来至少21.0%的速度提升. 展开更多
关键词 神经网络 深度学习 模型训练 神经网络加速器
在线阅读 下载PDF
模糊神经网络在城市轨道交通行车组织管理中的应用 被引量:4
11
作者 王静 《电子测量技术》 北大核心 2021年第5期118-122,共5页
研究一种可有效促进城市轨道交通行车组织管理效能的模糊神经网络算法。利用超限学习机模块对站点客流量进行初步卷积,使用卷积神经网络将考察线路内的各站点客流量数据进行汇总,同时构建其他线路的参照数据,使用二值化模块形成放行信... 研究一种可有效促进城市轨道交通行车组织管理效能的模糊神经网络算法。利用超限学习机模块对站点客流量进行初步卷积,使用卷积神经网络将考察线路内的各站点客流量数据进行汇总,同时构建其他线路的参照数据,使用二值化模块形成放行信号灯建议数据。应用该系统后,客流峰值车辆满载率显著下降,客流估值车辆满载率显著提升,客流估值发车间隙显著增加但并未影响到旅客的站内滞留时间。表明该算法可以有效提升城市轨道交通的运行效率和经济效益。 展开更多
关键词 模糊神经网络 城市轨道交通 行车组织 超限学习机 神经网络
在线阅读 下载PDF
基于轻量级深度神经网络的电磁信号调制识别技术 被引量:41
12
作者 张思成 林云 +1 位作者 涂涯 Shiwen Mao 《通信学报》 EI CSCD 北大核心 2020年第11期12-21,共10页
针对6G时代将会是移动通信与人工智能紧密结合的时代,产生数量庞大的边缘智能信号处理节点的趋势,提出了一种可部署于资源受限的边缘设备上的高效智能电磁信号识别模型。首先,通过绘制电磁信号的星座图将电磁信号具象为二维图像,并根据... 针对6G时代将会是移动通信与人工智能紧密结合的时代,产生数量庞大的边缘智能信号处理节点的趋势,提出了一种可部署于资源受限的边缘设备上的高效智能电磁信号识别模型。首先,通过绘制电磁信号的星座图将电磁信号具象为二维图像,并根据归一化点密度对星座图上色以实现特征增强;然后,使用二值化深度神经网络对其进行识别,在保证识别准确率的同时明显降低了模型存储开销以及计算开销。采用电磁信号调制识别问题进行验证,实验选取常用的8种数字调制信号,选择加性高斯白噪声为信道环境。实验结果表明,所提方案可以在信噪比为-6~6 d B的噪声条件下获得96.1%的综合识别率,网络模型大小仅为166 KB,部署于树莓派4B的执行时间为290 ms,相比于同规模的全精度网络,准确率提升了0.6%,模型缩减到1/26.16,运行时间缩减到1/2.37。 展开更多
关键词 6G 边缘智能 电磁信号调制识别 图像具象化 化深度神经网络
在线阅读 下载PDF
一种基于MRⅡ算法的三层二值双向联想记忆网络
13
作者 徐彦 熊迎军 《计算机工程与科学》 CSCD 北大核心 2018年第2期374-380,共7页
传统的两层二值双向联想记忆(BAM)网络因其结构的限制存在着存储容量有限、区分小差别模式和存储非正交模式能力不足的缺陷,结构上将其扩展至三层网络是一个有效的解决思路,但是三层二值BAM网络的学习是一个难题,而三层连续型BAM网络又... 传统的两层二值双向联想记忆(BAM)网络因其结构的限制存在着存储容量有限、区分小差别模式和存储非正交模式能力不足的缺陷,结构上将其扩展至三层网络是一个有效的解决思路,但是三层二值BAM网络的学习是一个难题,而三层连续型BAM网络又存在处理二值问题不方便的问题。为了解决这些问题,提出一种三层结构的二值双向联想记忆网络,创新之处是采用了二值多层前向网络的MRⅡ算法实现了三层二值BAM网络的学习。实验结果表明,基于MRⅡ算法的三层二值BAM网络极大地提高了网络的存储容量和模式区分能力,同时保留了二值网络特定的优势,具有较高的理论与实用价值。 展开更多
关键词 三层双向联想记忆网络 双向联想记忆网络 模式存储 二值神经网络 MRⅡ算法 最小扰动原则
在线阅读 下载PDF
基于BNN-RA模型的风电机组轴承故障诊断研究 被引量:1
14
作者 余萍 宋紫琼 +1 位作者 曹洁 陈息良 《太阳能学报》 北大核心 2025年第3期643-651,共9页
针对风电机组轴承故障诊断中特征提取困难,模型迭代速度慢,精度低的问题,该文提出一种基于改进二值化神经网络(BNN)的风电机组轴承故障诊断方法。首先采用格拉姆角场(GAF)将轴承振动信号转换为二维图像,以提高特征提取精度,然后结合深... 针对风电机组轴承故障诊断中特征提取困难,模型迭代速度慢,精度低的问题,该文提出一种基于改进二值化神经网络(BNN)的风电机组轴承故障诊断方法。首先采用格拉姆角场(GAF)将轴承振动信号转换为二维图像,以提高特征提取精度,然后结合深度残差网络和注意力机制构建BNN-RA(BNN+Residual Network+Spatial attention network structure)故障诊断模型,实现轴承的高效故障诊断,最终通过美国凯斯西储大学(CWRU)与江南大学(JNU)公开的轴承数据集进行方法有效性验证。结果表明,该方法可有效提高网络迭代速度和诊断精度,模型在CWRU轴承数据集单一工况下迭代11次可达到收敛,故障诊断准确率达到99.20%,在两数据集的不同工况下平均准确率可达98.46%与97.6%。 展开更多
关键词 风电机组 故障诊断 轴承 神经网络 格拉姆角场
在线阅读 下载PDF
可变光照下多姿态人脸表情识别方法
15
作者 王灵月 李颖 +1 位作者 郭磊 杨新生 《现代电子技术》 北大核心 2025年第14期154-158,共5页
为消除光照度变化对图像的影响,提供更为全面和清晰的面部信息,并提高表情识别鲁棒性,提出一种可变光照下多姿态人脸表情识别方法。利用自商图像法对原始人脸图像进行光照处理,消除光照度变化对图像的影响。利用生成对抗网络建立多姿态... 为消除光照度变化对图像的影响,提供更为全面和清晰的面部信息,并提高表情识别鲁棒性,提出一种可变光照下多姿态人脸表情识别方法。利用自商图像法对原始人脸图像进行光照处理,消除光照度变化对图像的影响。利用生成对抗网络建立多姿态人脸正面化模型,对光照处理后的人脸图像进行再处理,得到标准正面姿态的人脸图像,为表情识别提供更为全面和清晰的面部信息,提高表情识别鲁棒性。利用局部二值卷积神经网络处理标准正面姿态的人脸图像,完成可变光照下多姿态人脸表情识别。实验结果表明:所提方法可有效地对人脸图像进行光照与人脸正面化处理,不同姿态情况下,该方法均可完成人脸表情的精准识别;在不同光照条件下,人脸表情识别的精度均较高。 展开更多
关键词 人脸表情识别 光照处理 多姿态人脸识别 人脸正面化 自商图像法 局部卷积神经网络 生成对抗网络
在线阅读 下载PDF
基于数据流架构的雷达信号调制方式识别加速 被引量:3
16
作者 黄湘松 王振 潘大鹏 《实验技术与管理》 CAS 北大核心 2024年第5期23-30,共8页
在雷达电子战中,快速并准确地识别敌方雷达信号调制技术对于获得战术优势至关重要,而传统依赖于图形处理单元(graphics processing unit,GPU)的识别方法难以满足此应用场景的低延迟要求。为此,该文设计了一种基于数据流架构(dataflow ar... 在雷达电子战中,快速并准确地识别敌方雷达信号调制技术对于获得战术优势至关重要,而传统依赖于图形处理单元(graphics processing unit,GPU)的识别方法难以满足此应用场景的低延迟要求。为此,该文设计了一种基于数据流架构(dataflow architecture,DF)的雷达信号调制方式识别加速系统。该系统通过对卷积神经网络权值进行二值化来减少模型参数,便于将算法部署到现场可编程门阵列(field-programmablegatearray,FPGA),同时采用数据流架构加快雷达信号调制方式的识别过程。实验结果表明,在确保整体识别准确率的前提下,该加速系统的推理速度相比i7-11800H CPU提升44.43倍,相比RTX 3050Ti GPU提升2.59倍,系统功耗仅为1.724 W。 展开更多
关键词 调制方式识别 深度学习 数据流架构 神经网络 硬件部署
在线阅读 下载PDF
高能效低延迟的BNN硬件加速器设计
17
作者 周培培 杜高明 +1 位作者 李桢旻 王晓蕾 《合肥工业大学学报(自然科学版)》 CAS 北大核心 2024年第12期1655-1661,共7页
针对二值化神经网络(binary neural network,BNN)硬件设计过程中大量0值引发计算量增加以及BNN中同一权值数据与同一特征图数据多次重复运算导致计算周期和计算功耗增加的问题,文章分别提出全0值跳过方法和预计算结果缓存方法,有效减少... 针对二值化神经网络(binary neural network,BNN)硬件设计过程中大量0值引发计算量增加以及BNN中同一权值数据与同一特征图数据多次重复运算导致计算周期和计算功耗增加的问题,文章分别提出全0值跳过方法和预计算结果缓存方法,有效减少网络的计算量、计算周期和计算功耗;并基于现场可编程门阵列(field programmable gate array,FPGA)设计一款BNN硬件加速器,即手写数字识别系统。实验结果表明,使用所提出的全0值跳过方法和预计算结果缓存方法后,在100 MHz的频率下,设计的加速器平均能效可达1.81 TOPs/W,相较于其他BNN加速器,提升了1.27~4.34倍。 展开更多
关键词 神经网络(BNN) 共享 重复运算 现场可编程门阵列(FPGA) 硬件加速器
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部