该文研究孤岛交流微电网二次电压和频率的固定时间精确控制问题,基于多智能体一致性方法,提出考虑状态受限的自适应模糊固定时间二次电压控制器和基于控制障碍函数的二次频率控制器。在多智能体一致性控制中,将每一个分布式电源视为一...该文研究孤岛交流微电网二次电压和频率的固定时间精确控制问题,基于多智能体一致性方法,提出考虑状态受限的自适应模糊固定时间二次电压控制器和基于控制障碍函数的二次频率控制器。在多智能体一致性控制中,将每一个分布式电源视为一个非线性智能体,智能体之间通过稀疏网络进行通信。在电压控制器设计中,采用反馈线性化后未知变量的自适应模糊估计提高控制器的自适应能力,并引入新的滑模面使电压控制器在固定时间内收敛。考虑到系统状态受限问题,分别采用障碍Lyapunov函数和控制障碍函数设计电压与频率控制器,使系统状态在预设的约束范围内。频率控制器的设计还考虑了有功功率的精确分配问题,给出了严格的固定时间收敛及稳定性证明。在Matlab/Sim Power System环境下,对微电网负载变化及大干扰下的仿真验证了所提控制器的有效性。展开更多
基于Transformer的大语言模型(Large Language Models,LLM)和视觉Transformer(Vision Transformers,ViTs)分别在自然语言处理、机器视觉任务上实现了最为先进的性能.但是ViTs和LLM的常用激活函数GELU(Gaussian Error Linear Unit)、Swis...基于Transformer的大语言模型(Large Language Models,LLM)和视觉Transformer(Vision Transformers,ViTs)分别在自然语言处理、机器视觉任务上实现了最为先进的性能.但是ViTs和LLM的常用激活函数GELU(Gaussian Error Linear Unit)、Swish在Transformer全量化推理中存在精度不足、计算效率低的问题,限制了它们在资源受限的边缘端设备上的部署和应用.本文提出了一种基于分段二次多项式拟合的激活函数高精度近似计算方法(Segmented Quadratic Polynomial Fitting,SQPF)及其量化推理过程,以实现端侧非线性激活函数的高性能部署.SQPF采用最小二乘法和粒子群优化方法求解非线性激活函数拟合优化问题,给出最优的二次多项式拟合系数和区间划分.得到的二次多项式拟合采用动态精度定点对称量化方法进行纯整数推理,推理过程仅包含移位操作和乘加运算.本文使用SQPF计算了GELU和Swish的二次多项式拟合Si-GELU和Si-Swish,并评估了量化推理精度.实验结果表明,在标准数据集ImageNet上,Si-GELU引起的ViTs(ViT、DeiT和Swin)模型分类任务准确率衰减仅为0.09%,是其他同类方法的27.3%;在主流的大语言模型评测数据集MMLU上,Si-Swish引起的子类别精度衰减不超过0.77%,大类别精度衰减不超过0.23%.极小的精度损失表明SQPF计算得到的最优分段二次多项式拟合可以直接替换Transformer模型中全精度浮点激活函数,不必进行参数微调或者重训练.展开更多
文摘该文研究孤岛交流微电网二次电压和频率的固定时间精确控制问题,基于多智能体一致性方法,提出考虑状态受限的自适应模糊固定时间二次电压控制器和基于控制障碍函数的二次频率控制器。在多智能体一致性控制中,将每一个分布式电源视为一个非线性智能体,智能体之间通过稀疏网络进行通信。在电压控制器设计中,采用反馈线性化后未知变量的自适应模糊估计提高控制器的自适应能力,并引入新的滑模面使电压控制器在固定时间内收敛。考虑到系统状态受限问题,分别采用障碍Lyapunov函数和控制障碍函数设计电压与频率控制器,使系统状态在预设的约束范围内。频率控制器的设计还考虑了有功功率的精确分配问题,给出了严格的固定时间收敛及稳定性证明。在Matlab/Sim Power System环境下,对微电网负载变化及大干扰下的仿真验证了所提控制器的有效性。
文摘基于Transformer的大语言模型(Large Language Models,LLM)和视觉Transformer(Vision Transformers,ViTs)分别在自然语言处理、机器视觉任务上实现了最为先进的性能.但是ViTs和LLM的常用激活函数GELU(Gaussian Error Linear Unit)、Swish在Transformer全量化推理中存在精度不足、计算效率低的问题,限制了它们在资源受限的边缘端设备上的部署和应用.本文提出了一种基于分段二次多项式拟合的激活函数高精度近似计算方法(Segmented Quadratic Polynomial Fitting,SQPF)及其量化推理过程,以实现端侧非线性激活函数的高性能部署.SQPF采用最小二乘法和粒子群优化方法求解非线性激活函数拟合优化问题,给出最优的二次多项式拟合系数和区间划分.得到的二次多项式拟合采用动态精度定点对称量化方法进行纯整数推理,推理过程仅包含移位操作和乘加运算.本文使用SQPF计算了GELU和Swish的二次多项式拟合Si-GELU和Si-Swish,并评估了量化推理精度.实验结果表明,在标准数据集ImageNet上,Si-GELU引起的ViTs(ViT、DeiT和Swin)模型分类任务准确率衰减仅为0.09%,是其他同类方法的27.3%;在主流的大语言模型评测数据集MMLU上,Si-Swish引起的子类别精度衰减不超过0.77%,大类别精度衰减不超过0.23%.极小的精度损失表明SQPF计算得到的最优分段二次多项式拟合可以直接替换Transformer模型中全精度浮点激活函数,不必进行参数微调或者重训练.
