基于混合专家模型的岩石薄片图像分类 被引量：5

1

作者 周程阳 刘伟 +2 位作者 吴天润 李骜 韩霄松 《吉林大学学报（理学版）》 CAS 北大核心 2024年第4期905-914,共10页

以常见的5种岩石薄片作为研究对象构建数据集,提出一种新的基于混合专家模型的岩石薄片图像分类模型.该模型从薄片图像中学习到每种岩石图像的特征,并对其进行分类.首先,使用多个基于卷积神经网络(CNN)和Transformer的图像分类模型(ResN... 以常见的5种岩石薄片作为研究对象构建数据集,提出一种新的基于混合专家模型的岩石薄片图像分类模型.该模型从薄片图像中学习到每种岩石图像的特征,并对其进行分类.首先,使用多个基于卷积神经网络(CNN)和Transformer的图像分类模型(ResNet50,MobileNetV3,InceptionV3,DeiT等)对数据进行训练;其次,选取效果较好的模型,通过构建混合专家模型,得到最终的预测结果,其岩性识别准确率(ACC)和AUC在验证集上达到85.33%和96.69%,在测试集上达到87.16%和96.75%;最后,通过混合专家模型结合多个模型,综合各模型的优势,平衡各模型间的贡献,提高分类结果的准确性和鲁棒性,使得到的分类结果更可靠、稳定. 展开更多

关键词 岩石薄片分类 混合专家模型 图像分类

在线阅读 下载PDF 职称材料

基于混合专家模型的智能网联汽车换道决策方法 被引量：2

2

作者 姚福星 孙超 +3 位作者 兰云港 卢兵 王博 于海洋 《汽车工程》 EI CSCD 北大核心 2024年第5期882-892,共11页

高速公路换道决策问题场景复杂、不确定性强、实时性要求高,是国内外自动驾驶领域的研究热点和难点。深度强化学习(deep reinforcement learning,DRL)具有良好的决策实时性和面向复杂场景的适应性,然而,在训练样本与成本有限的条件下学... 高速公路换道决策问题场景复杂、不确定性强、实时性要求高,是国内外自动驾驶领域的研究热点和难点。深度强化学习(deep reinforcement learning,DRL)具有良好的决策实时性和面向复杂场景的适应性,然而,在训练样本与成本有限的条件下学习效果有限,其难以保证最优的驾驶效率和完全的行驶安全性。本文提出了一种基于改进DRL的混合专家模型(DRL-mixture of expert,DRL-MOE)换道决策方法。首先,模型的上层分类器根据输入状态特征动态地决定下层DRL专家或启发式专家的激活状态。为提高DRL专家的学习效果,本方法通过行为克隆(behavior cloning,BC)对神经网络参数进行初始化,对传统深度确定性策略梯度算法(deep deterministic policy gradient,DDPG)进行了改进。将智能驾驶员模型和最小化换道引起的总制动策略设计为启发式专家,以确保行驶安全性。仿真结果表明,本文所提出的DRL-MOE模型方法与非混合专家型DRL方法相比,在驾驶效率方面提高了15.04%,并确保了零碰撞和零出界,具有较高的鲁棒性和更优的效果。 展开更多

关键词 自动驾驶 高速换道决策 深度强化学习 混合专家模型

在线阅读 下载PDF 职称材料

基于多门控混合专家模型的网络异常流量识别与防御模型 被引量：1

3

作者 郭永进 黄河俊 《信息网络安全》 CSCD 北大核心 2024年第9期1458-1469,共12页

文章提出一种基于多门控混合专家模型的网络异常流量识别与防御模型,该模型适用于业务高峰期间混杂攻击流量的场景。首先,多门控混合专家模型对网络流量进行实时监测和异常识别,区分由业务需求导致的正常流量峰值和异常流量,减少误报,... 文章提出一种基于多门控混合专家模型的网络异常流量识别与防御模型,该模型适用于业务高峰期间混杂攻击流量的场景。首先,多门控混合专家模型对网络流量进行实时监测和异常识别,区分由业务需求导致的正常流量峰值和异常流量,减少误报,系统将检测到的异常流量作为输入,生成针对性的防御策略。然后,多门控混合专家模型对异常流量识别和防御策略生成专家模型进行协调,提高系统的识别精准度和策略生成的有效性。在实际业务场景中获取的数据集上的实验结果表明,该模型识别准确率和防御效果优于主流的机器学习模型,能够准确识别出混杂在业务高峰期间的异常攻击流量,并生成合适的防御策略。 展开更多

关键词 异常流量识别 防御策略生成 混合专家模型 隐蔽攻击

在线阅读 下载PDF 职称材料

稀疏贝叶斯混合专家模型及其在光谱数据标定中的应用 被引量：3

4

作者 俞斌峰 季海波 《自动化学报》 EI CSCD 北大核心 2016年第4期566-579,共14页

在光谱数据的多元校正中,光谱数据通常是在多种不同的环境条件下收集的.为了建模来源于不同环境中的高维光谱数据,本文提出了一种新的稀疏贝叶斯混合专家模型,并将其用来选择多元校正模型的稀疏特征.混合专家模型能够把训练数据划分到... 在光谱数据的多元校正中,光谱数据通常是在多种不同的环境条件下收集的.为了建模来源于不同环境中的高维光谱数据,本文提出了一种新的稀疏贝叶斯混合专家模型,并将其用来选择多元校正模型的稀疏特征.混合专家模型能够把训练数据划分到不同的子类,之后使用不同的预测模型来分别对划分后的数据进行预测,因此这种方法适合于建模来自于多种环境下的光谱数据.本文提出的稀疏的混合专家模型利用稀疏贝叶斯的方法来进行特征选择,不依赖于事先指定的参数;同时利用probit模型作为门函数以得到解析的后验分布,避免了在门函数分类模型中进行特征提取时需要的近似.本文提出的模型与其他几种常用的回归模型在人工数据集和几个公开的光谱数据集上进行了比较,比较结果显示本文提出的模型对多个来源的光谱数据进行浓度预测时精度比传统的回归方法有一定的提高. 展开更多

关键词 多元校正 混合专家模型 特征提取 变分推断

在线阅读 下载PDF 职称材料

响应变量随机缺失下偏正态众数混合专家模型的参数估计 被引量：1

5

作者 鲁钰 吴刘仓 王格格 《应用数学》 北大核心 2023年第2期474-486,共13页

数据缺失是众多影响数据质量的因素中最常见的一种.若缺失数据处理不当,将直接影响分析结果的可靠性,进而达不到分析的目的.本文针对随机缺失偏正态数据,研究了偏正态众数混合专家模型的参数估计.将众数回归插补与聚类相结合,提出分层... 数据缺失是众多影响数据质量的因素中最常见的一种.若缺失数据处理不当,将直接影响分析结果的可靠性,进而达不到分析的目的.本文针对随机缺失偏正态数据,研究了偏正态众数混合专家模型的参数估计.将众数回归插补与聚类相结合,提出分层众数回归插补方法.利用机器学习插补和统计学插补的方法,进一步比较研究三种机器学习插补方法:支持向量机插补、随机森林插补和神经网络插补,三种统计学插补方法:分层均值插补、众数回归插补和分层众数回归插补的缺失数据处理效果.通过Monte Carlo模拟和实例分析结果表明,分层众数回归插补的优良性. 展开更多

关键词 缺失偏正态数据 众数混合专家模型 支持向量机插补 随机森林插补 BP神经网络插补 分层众数回归插补

在线阅读 下载PDF 职称材料

正态分布混合线性专家模型的稳健估计

6

作者 孙明云 李龙 《统计与决策》 北大核心 2025年第8期53-58,共6页

针对误差项服从正态分布的混合线性专家模型(NMoLE模型)对异常值或重尾数据非常敏感的问题,文章提出了一种稳健估计方法:在NMoLE模型的对数似然函数中引入M估计,并提出了一种稳健的EM算法。蒙特卡洛模拟结果表明,所提稳健估计方法对带... 针对误差项服从正态分布的混合线性专家模型(NMoLE模型)对异常值或重尾数据非常敏感的问题,文章提出了一种稳健估计方法:在NMoLE模型的对数似然函数中引入M估计,并提出了一种稳健的EM算法。蒙特卡洛模拟结果表明,所提稳健估计方法对带异常值的数据具有鲁棒性,且效果优于误差项服从t分布的混合线性专家模型的估计方法和极大似然估计方法;若数据中不存在异常值,则所提稳健估计方法与误差项服从t分布的混合线性专家模型的估计方法及极大似然估计方法的效果相近。最后,通过实际数据验证了所提估计方法的稳健性。 展开更多

关键词 混合线性专家模型 NMoLE模型 M估计

在线阅读 下载PDF 职称材料

基于偏正态数据下联合位置与尺度混合专家回归模型的参数估计 被引量：9

7

作者 吴刘仓 杨松琴 戴琳 《高校应用数学学报（A辑）》 CSCD 北大核心 2018年第1期36-44,共9页

混合专家回归模型广泛应用于异质总体数据的分类,聚类及回归分析中.研究基于偏正态数据,提出了联合位置与尺度混合专家回归模型,该模型同时对位置,尺度和混合比例参数建模,应用MM算法和EM算法研究了该模型参数的极大似然估计.通过随机... 混合专家回归模型广泛应用于异质总体数据的分类,聚类及回归分析中.研究基于偏正态数据,提出了联合位置与尺度混合专家回归模型,该模型同时对位置,尺度和混合比例参数建模,应用MM算法和EM算法研究了该模型参数的极大似然估计.通过随机模拟和实例分析说明了该模型和方法的有效性与实用性. 展开更多

关键词 偏正态分布 联合位置与尺度模型 混合专家回归模型 EM算法

在线阅读 下载PDF 职称材料

Tweedie类分布下广义线性联合均值与散度混合专家回归模型 被引量：2

8

作者 戴琳 尹军辉 吴刘仓 《应用数学》 CSCD 北大核心 2018年第1期168-176,共9页

Tweedie类分布在财产保险中常常用来对索赔额进行量化,而混合专家回归模型在统计和机器学习方面被广泛地研究,并用来对异质总体数据进行分类、聚类及回归分析.本文基于Tweedie类分布提出广义线性联合均值与散度混合专家回归模型,从而为... Tweedie类分布在财产保险中常常用来对索赔额进行量化,而混合专家回归模型在统计和机器学习方面被广泛地研究,并用来对异质总体数据进行分类、聚类及回归分析.本文基于Tweedie类分布提出广义线性联合均值与散度混合专家回归模型,从而为非寿险费率厘定精算技术的发展提供参考思路.接着,利用EM算法给出该模型的极大似然估计,进而通过随机模拟实验验证了所提出方法的有效性.最后,本文结合空气质量指标(AQI)数据验证了该模型和方法具有实用性和可行性. 展开更多

关键词 Tweedie类分布 联合均值与散度模型 混合专家回归模型 EM算法

在线阅读 下载PDF 职称材料

DeepSeek支持下的高中生物学长句表述能力培养双阶四维模型应用

9

作者 徐文新 《生物学教学》 北大核心 2025年第6期50-52,共3页

针对新高考改革背景下生物学学科长句表述题的考核要求,融合DeepSeek-V3模型的动态路由机制与多token预测技术,构建了“双阶四维”训练体系。经过为期四周的教学实验验证,该模式显著提升了学生在机制解释类题型的逻辑链完整度和术语规... 针对新高考改革背景下生物学学科长句表述题的考核要求,融合DeepSeek-V3模型的动态路由机制与多token预测技术,构建了“双阶四维”训练体系。经过为期四周的教学实验验证,该模式显著提升了学生在机制解释类题型的逻辑链完整度和术语规范度。为人工智能与生物学教学的深度融合提供理论支撑与实践范式。 展开更多

关键词 DeepSeek 混合专家模型 长句表述 科学思维

在线阅读 下载PDF 职称材料

联合均值与方差混合专家回归模型的参数估计 被引量：1

10

作者 李双双 吴刘仓 戴琳 《应用数学》 CSCD 北大核心 2019年第1期134-140,共7页

在社会、经济领域中存在大量来自异质总体的异方差数据.本文针对异质总体的异方差数据,研究提出联合均值与方差混合专家回归模型,该模型同时对感兴趣的均值、方差和混合比例参数建模,可以概括和描述众多的实际问题.然后,利用EM算法和MM... 在社会、经济领域中存在大量来自异质总体的异方差数据.本文针对异质总体的异方差数据,研究提出联合均值与方差混合专家回归模型,该模型同时对感兴趣的均值、方差和混合比例参数建模,可以概括和描述众多的实际问题.然后,利用EM算法和MM算法给出该模型的最大似然估计,进而通过Monte Carlo随机模拟来验证所提出的方法的有效性.最后,本文结合实际数据AQI(空气质量指数)说明模型的实用性和可行性. 展开更多

关键词 异质总体 联合均值与方差模型 混合专家回归模型 EM算法

在线阅读 下载PDF 职称材料

偏正态数据下众数混合专家回归模型的参数估计 被引量：1

11

作者 王格格 鲁钰 吴刘仓 《应用数学》 CSCD 北大核心 2021年第4期929-939,共11页

混合专家模型是对异质总体数据进行回归、分类和聚类的异构性建模的流行框架.研究基于偏正态分布,提出了众数混合专家回归模型,该模型既对混合偏态数据分类后进行众数建模,同时又对混合比例建模,相比单纯的众数回归模型具有更大的适应性... 混合专家模型是对异质总体数据进行回归、分类和聚类的异构性建模的流行框架.研究基于偏正态分布,提出了众数混合专家回归模型,该模型既对混合偏态数据分类后进行众数建模,同时又对混合比例建模,相比单纯的众数回归模型具有更大的适应性,可以概括和描述众多的实际问题.采用了一种有效的模式识别聚类方法来选择子聚类的数量.分别应用MM算法和梯度下降法辅助的EM算法对模型未知参数进行极大似然估计,通过Monte Carlo模拟试验和实例分析比较,说明本文提出方法的有效性和实用性. 展开更多

关键词 偏正态分布 众数回归模型 混合专家回归模型 EM算法 梯度下降法

在线阅读 下载PDF 职称材料

DeepSeek-R1是怎样炼成的? 被引量：35

12

作者 张慧敏 《深圳大学学报(理工版)》 北大核心 2025年第2期226-232,共7页

简述DeepSeek系列模型在大模型训练中的创新和优化.DeepSeek系列模型的突破主要体现在模型架构、算法创新、软硬件协同优化及整体训练效率的提升.DeepSeek-V3模型采用混合专家(mixture of experts,MoE)模型架构,通过细粒度设计和共享专... 简述DeepSeek系列模型在大模型训练中的创新和优化.DeepSeek系列模型的突破主要体现在模型架构、算法创新、软硬件协同优化及整体训练效率的提升.DeepSeek-V3模型采用混合专家(mixture of experts,MoE)模型架构,通过细粒度设计和共享专家策略,实现计算资源的高效利用;MoE模型架构中的稀疏激活机制和无损负载均衡策略显著提高了模型训练的效率和性能;多头潜在注意力(multi-head latent attention,MLA)机制通过减少内存使用和加速推理过程,降低了模型训练和推理成本;通过引入多token预测(multi-token prediction,MTP)和8位浮点数(floating point 8-bit,FP8)混合精度训练技术,提升了模型的上下文理解能力和训练效率;采用优化并行线程执行(parallel thread execution,PTX)代码显著提高了图形处理器(graphics processing unit,GPU)的计算效率;所提群体相对策略优化(group relative policy optimization,GRPO)对DeepSeek-R1-Zero模型进行纯强化学习训练,跳过了传统的监督微调和人类反馈阶段,显著提升了模型的推理能力.总体而言,DeepSeek系列模型通过多项创新,在人工智能领域取得了显著优势,树立了行业新标杆. 展开更多

关键词 人工智能 DeepSeek 大语言模型 混合专家模型 多头潜在注意力机制 多token预测 混合精度训练 群体相对策略优化

在线阅读 下载PDF 职称材料

基于VMD-DESN-MSGP模型的超短期光伏功率预测 被引量：53

13

作者 王粟 江鑫 +1 位作者 曾亮 常雨芳 《电网技术》 EI CSCD 北大核心 2020年第3期917-926,共10页

光伏功率时间序列受到多种因素影响,呈现出高度的随机性和波动性。针对光伏功率时间序列可预测性低的问题,提出了一种结合变分模态分解(variationalmodal decomposition,VMD)、深度回声状态网络(deepechostate network,DESN)和稀疏高斯... 光伏功率时间序列受到多种因素影响,呈现出高度的随机性和波动性。针对光伏功率时间序列可预测性低的问题,提出了一种结合变分模态分解(variationalmodal decomposition,VMD)、深度回声状态网络(deepechostate network,DESN)和稀疏高斯混合过程专家模型(mixtureof sparse gaussian process experts model,MSGP)的超短期光伏功率预测方法。首先采用VMD将光伏功率时间序列分解为不同的模态,降低数据的非平稳性;为提高模型在超短尺度时序的预测能力,对各模态分别建立DESN预测模型,将各模态预测结果进行求和重构;为进一步提高模型预测精度,对误差的特性进行分析,采用MSGP对预测误差进行补偿;最后将误差的预测值与原功率的预测值相叠加作为最终预测结果。仿真结果表明,该方法在光伏功率时序预测中的效果比传统预测模型更好,有效提高了超短期光伏功率时间序列预测的准确性。 展开更多

关键词 光伏功率预测 时间序列 变分模态分解 深度回声状态网络 稀疏高斯混合过程专家模型

在线阅读 下载PDF 职称材料

基于MMoE和GRU的PMU数据有损压缩算法

14

作者 王守相 张晟 +2 位作者 郭陆阳 容春艳 柴林杰 《电力系统及其自动化学报》 CSCD 北大核心 2023年第3期29-37,共9页

为解决同步向量量测装置广泛部署带来的数据冗余度与数据量快速增长、系统数据储存及传输成本大幅增加的问题,本文提出一种基于多任务学习和门控循环单元自编码器的有损数据压缩算法。首先,根据同步向量量测装置三相量测数据具有相关性... 为解决同步向量量测装置广泛部署带来的数据冗余度与数据量快速增长、系统数据储存及传输成本大幅增加的问题,本文提出一种基于多任务学习和门控循环单元自编码器的有损数据压缩算法。首先,根据同步向量量测装置三相量测数据具有相关性的特点,采用多门控混合专家模型和门控循环单元构建了变分自编码器一次数据压缩模型,将各相数据进行特征融合,利用多任务学习挖掘三相量测数据之间的相关性;其次,使用无损压缩算法对一次压缩数据进行二次压缩,得到最终压缩数据;最后,通过算例分析表明,所提算法能够充分利用各相数据之间的相关性,实现对压缩数据的高精度重构,提高数据压缩效率。 展开更多

关键词 同步向量量测装置 数据压缩 多任务学习 多门控混合专家模型

在线阅读 下载PDF 职称材料