基于Transformer的大语言模型(Large Language Models,LLM)和视觉Transformer(Vision Transformers,ViTs)分别在自然语言处理、机器视觉任务上实现了最为先进的性能.但是ViTs和LLM的常用激活函数GELU(Gaussian Error Linear Unit)、Swis...基于Transformer的大语言模型(Large Language Models,LLM)和视觉Transformer(Vision Transformers,ViTs)分别在自然语言处理、机器视觉任务上实现了最为先进的性能.但是ViTs和LLM的常用激活函数GELU(Gaussian Error Linear Unit)、Swish在Transformer全量化推理中存在精度不足、计算效率低的问题,限制了它们在资源受限的边缘端设备上的部署和应用.本文提出了一种基于分段二次多项式拟合的激活函数高精度近似计算方法(Segmented Quadratic Polynomial Fitting,SQPF)及其量化推理过程,以实现端侧非线性激活函数的高性能部署.SQPF采用最小二乘法和粒子群优化方法求解非线性激活函数拟合优化问题,给出最优的二次多项式拟合系数和区间划分.得到的二次多项式拟合采用动态精度定点对称量化方法进行纯整数推理,推理过程仅包含移位操作和乘加运算.本文使用SQPF计算了GELU和Swish的二次多项式拟合Si-GELU和Si-Swish,并评估了量化推理精度.实验结果表明,在标准数据集ImageNet上,Si-GELU引起的ViTs(ViT、DeiT和Swin)模型分类任务准确率衰减仅为0.09%,是其他同类方法的27.3%;在主流的大语言模型评测数据集MMLU上,Si-Swish引起的子类别精度衰减不超过0.77%,大类别精度衰减不超过0.23%.极小的精度损失表明SQPF计算得到的最优分段二次多项式拟合可以直接替换Transformer模型中全精度浮点激活函数,不必进行参数微调或者重训练.展开更多
针对目前通过超分辨率技术重建后图像的质量不高、纹理细节模糊、网络训练不稳定等问题,提出一种基于改进生成对抗网络的单图超分辨率重建算法。该算法以生成对抗网络为基础,采用多尺度卷积层和GELU(Gaussian Error Linear Units)激活...针对目前通过超分辨率技术重建后图像的质量不高、纹理细节模糊、网络训练不稳定等问题,提出一种基于改进生成对抗网络的单图超分辨率重建算法。该算法以生成对抗网络为基础,采用多尺度卷积层和GELU(Gaussian Error Linear Units)激活函数对生成网络中的残差块进行优化,提高网络泛化能力;利用Wasserstein距离和Huber损失对损失函数进行优化,增强网络训练的稳定性;减少判别网络中的批规范化层,优化网络结构。实验结果表明:在Set5等数据集上,该算法重建后的图像在客观评价指标和主观视觉效果上均优于其他经典算法。展开更多
文摘基于Transformer的大语言模型(Large Language Models,LLM)和视觉Transformer(Vision Transformers,ViTs)分别在自然语言处理、机器视觉任务上实现了最为先进的性能.但是ViTs和LLM的常用激活函数GELU(Gaussian Error Linear Unit)、Swish在Transformer全量化推理中存在精度不足、计算效率低的问题,限制了它们在资源受限的边缘端设备上的部署和应用.本文提出了一种基于分段二次多项式拟合的激活函数高精度近似计算方法(Segmented Quadratic Polynomial Fitting,SQPF)及其量化推理过程,以实现端侧非线性激活函数的高性能部署.SQPF采用最小二乘法和粒子群优化方法求解非线性激活函数拟合优化问题,给出最优的二次多项式拟合系数和区间划分.得到的二次多项式拟合采用动态精度定点对称量化方法进行纯整数推理,推理过程仅包含移位操作和乘加运算.本文使用SQPF计算了GELU和Swish的二次多项式拟合Si-GELU和Si-Swish,并评估了量化推理精度.实验结果表明,在标准数据集ImageNet上,Si-GELU引起的ViTs(ViT、DeiT和Swin)模型分类任务准确率衰减仅为0.09%,是其他同类方法的27.3%;在主流的大语言模型评测数据集MMLU上,Si-Swish引起的子类别精度衰减不超过0.77%,大类别精度衰减不超过0.23%.极小的精度损失表明SQPF计算得到的最优分段二次多项式拟合可以直接替换Transformer模型中全精度浮点激活函数,不必进行参数微调或者重训练.
文摘针对目前通过超分辨率技术重建后图像的质量不高、纹理细节模糊、网络训练不稳定等问题,提出一种基于改进生成对抗网络的单图超分辨率重建算法。该算法以生成对抗网络为基础,采用多尺度卷积层和GELU(Gaussian Error Linear Units)激活函数对生成网络中的残差块进行优化,提高网络泛化能力;利用Wasserstein距离和Huber损失对损失函数进行优化,增强网络训练的稳定性;减少判别网络中的批规范化层,优化网络结构。实验结果表明:在Set5等数据集上,该算法重建后的图像在客观评价指标和主观视觉效果上均优于其他经典算法。
