期刊文献+
共找到123篇文章
< 1 2 7 >
每页显示 20 50 100
面向煤矿AI应用的多源异构数据分层分类仓储技术 被引量:1
1
作者 张智星 付翔 +4 位作者 张小强 秦一凡 黄金宇 杨宇琪 贾一帆 《工矿自动化》 北大核心 2025年第9期18-24,共7页
在煤矿智能化转型进程中,多源异构数据呈爆发式增长,但煤炭企业对这些数据的应用仍停留在可视化的初级阶段,且面临三大瓶颈:数据结构多样难以统一存储,阻碍AI应用的数据关联分析;数据质量参差不齐,导致AI模型无法直接有效分析;数据体量... 在煤矿智能化转型进程中,多源异构数据呈爆发式增长,但煤炭企业对这些数据的应用仍停留在可视化的初级阶段,且面临三大瓶颈:数据结构多样难以统一存储,阻碍AI应用的数据关联分析;数据质量参差不齐,导致AI模型无法直接有效分析;数据体量庞大,造成数据查询与分析效率低,严重制约智能应用落地。针对上述问题,提出了一种面向煤矿AI应用的多源异构数据分层分类仓储技术,该技术框架主要由Flink数据流处理服务、数据分层存储、数据分类存储、AI模型应用服务、主数据及元数据管理构成。Flink数据流处理服务是数据的核心处理单元,主要实现井下各子系统(综采、掘进、主运输、综合保障等)实时数据的脏数据清理、异常值填充、数据格式统一等处理,为后续面向煤矿AI应用的特征值快速计算及模型的有效应用提供标准数据条件。数据分层存储完成海量多源异构数据的分级编码与结构化整合后,存储到数据分类存储体系中。通过主数据及元数据管理,确保关键数据的一致性与完整性,并实现数据语义的清晰明确表达,为AI模型应用提供清晰明确的数据信息保障。测试结果表明:该技术可以实现海量多源异构数据的合理分层分类存储、不同类型数据与对应存储介质的精准匹配。煤矿现场应用结果表明:应用该技术后,工业数据平均查询延迟降低到1.1 s,数据质量合格率提高到93%,占用内存大的非结构化数据由高成本的高频存储转为低成本分布式存储。 展开更多
关键词 煤矿AI应用 多源异构数据 煤矿工业数据 数据分类存储 数据分层存储 Flink数据流处理 AI模型应用 主数据及元数据管理
在线阅读 下载PDF
SealVerifier:基于双流模型的印章自动核验系统
2
作者 雷萌 宁琪玥 +1 位作者 鞠进军 邹亮 《电子与信息学报》 北大核心 2025年第7期2308-2319,共12页
印章在文书认证、合同签署等场景中具有重要的法律效力,是确保文件真实性和合法性的重要标志。然而,随着数字技术的快速发展,印章伪造手段日益精进,对现有的印章核验技术提出了新的挑战,尤其是在图像质量不佳或存在模糊的情况下,核验难... 印章在文书认证、合同签署等场景中具有重要的法律效力,是确保文件真实性和合法性的重要标志。然而,随着数字技术的快速发展,印章伪造手段日益精进,对现有的印章核验技术提出了新的挑战,尤其是在图像质量不佳或存在模糊的情况下,核验难度显著增加。为应对此问题,该文提出一种基于双流模型的印章自动核验系统SealVerifier。该系统结合了EfficientNet与高效视觉Transformer(SViT),SViT在Transformer编码器中引入高维多层感知器和去归一化机制,以增强特征表示能力和泛化能力。此外,该文引入数据分布适配器以应对实际场景中多样化的印章,并采用双重损失函数提升模型的精度和泛化能力。在包含30699对图像的自建中文印章数据集上,SealVerifier的精确率、召回率和F1值分别达到了91.34%,96.83%和93.57%,显著优于现有的印章核验技术。 展开更多
关键词 印章自动核验 双流模型 TRANSFORMER 数据分布适配器
在线阅读 下载PDF
融合特征分析及机器学习的可演进变压器故障诊断模型 被引量:5
3
作者 毛业栋 张春辉 陈杰 《计算机工程》 CAS CSCD 北大核心 2024年第8期379-388,共10页
变压器是大型电力系统中的关键重要设备,其机理复杂且影响面广,对变压器的状态检测与故障诊断是传统电力系统中的关键问题,也是智能化时代下智能算法应用的重要方向。为解决现有的智能化故障诊断研究受限于故障样本稀缺、诊断结果可解... 变压器是大型电力系统中的关键重要设备,其机理复杂且影响面广,对变压器的状态检测与故障诊断是传统电力系统中的关键问题,也是智能化时代下智能算法应用的重要方向。为解决现有的智能化故障诊断研究受限于故障样本稀缺、诊断结果可解释性差、模型更新困难等问题,提出一种基于时序流数据动态分析的变压器故障诊断模型。首先通过人工辅助标注和数据增强方法,构建具有序列特征的高置信故障数据样本库;然后使用由融合时序特征分析器和多分类器构成的神经网络模型作为训练及分析的模型基础,构造基于相似案例的推理方式,通过距离相似性、模式相似性、形状相似性等多维度距离度量方法,对实时检测到的流数据进行故障诊断及分类预警,以指导运维人员结合历史经验及智能技术开展故障分析。实验结果表明,所提方法在故障诊断的准确性与可解释性上显著提升,可应用于变压器故障在线诊断真实场景中。 展开更多
关键词 变压器 流数据分析 故障诊断模型 演进机制 案例推理
在线阅读 下载PDF
基于聚簇模型重用的概念漂移数据流半监督分类算法 被引量:2
4
作者 康伟 黎利辉 文益民 《计算机科学》 CSCD 北大核心 2024年第4期124-131,共8页
带概念漂移的半监督数据流分类任务中,仅有少部分的数据被标记,这给分类器的训练、概念漂移的检测以及分类器对新概念的适应带来了巨大的挑战。现有的半监督聚簇分类算法仅对分类器池中的聚簇模型进行简单的增量更新,未能有效重用历史... 带概念漂移的半监督数据流分类任务中,仅有少部分的数据被标记,这给分类器的训练、概念漂移的检测以及分类器对新概念的适应带来了巨大的挑战。现有的半监督聚簇分类算法仅对分类器池中的聚簇模型进行简单的增量更新,未能有效重用历史聚簇模型。因此,文中提出了一种新的聚簇模型重用的半监督分类算法,称为CDCMR。首先,数据流以数据块的形式到来,对数据块分完类后,训练一个簇数自适应确定的聚簇模型。其次,通过计算分类器池中的各组件分类器与聚簇模型之间的相似度,挑选多个组件分类器。再次,用当前数据块对挑选出来的组件分类器进行模型重用后,与聚簇模型集成。然后,将分类器池划分为新旧更替和多样性最大化分类器池进行更新。最后,对下一个数据块的样本进行集成分类。在多个人工和真实数据集上进行实验,结果表明,所提算法1)能有效适应概念漂移,与现有方法相比其性能有显著性提升。 展开更多
关键词 数据流 半监督学习 概念漂移 聚簇模型重用 集成学习
在线阅读 下载PDF
改进自适应模型池的在线异常检测算法 被引量:1
5
作者 项秋艳 訾玲玲 丛鑫 《电子学报》 EI CAS CSCD 北大核心 2024年第7期2503-2514,共12页
精确的在线异常检测方法是物联网行业发展的核心,其中,以复杂和动态数据流为对象的在线异常识别是研究热点.现有在线异常检测方法存在处理复杂性负载过重问题,离线深度异常检测方法则存在因数据分布变化导致概念漂移问题.针对上述问题,... 精确的在线异常检测方法是物联网行业发展的核心,其中,以复杂和动态数据流为对象的在线异常识别是研究热点.现有在线异常检测方法存在处理复杂性负载过重问题,离线深度异常检测方法则存在因数据分布变化导致概念漂移问题.针对上述问题,本文提出了改进自适应模型池的在线异常检测框架,该框架可以与基于自动编码器的异常检测方法协作实现在线异常检测.首先,利用基于自动编码器的异常检测模型进行基本异常识别;其次,以自适应模型池为基础,融合概念漂移检测算法准确识别概念漂移,适应动态变化的数据流,解决概念漂移现象;最后,优化自适应模型池的模型合并方法,提升在线异常识别能力.实验结果表明,相比自动编码器模型的流变体和原自适应模型池算法,提出的算法在异常检测精度指标上分别提升了20.2%和5.83%,同时,最佳精度指标高于现有在线异常检测算法约16.7%. 展开更多
关键词 无监督学习 自动编码器 概念漂移 异常检测 自适应模型池 数据流
在线阅读 下载PDF
沿海声层析数据在印尼巴厘海峡的同化研究
6
作者 于丰源 许世杰 +5 位作者 谢心怡 高怡心 李光明 Arita Kaneko Fadli Syamsudin 黄豪彩 《海洋学报》 CAS CSCD 北大核心 2024年第8期121-130,共10页
沿海声层析(Coastal Acoustic Tomography,简称CAT)是利用高频声信号实现近海大范围流场观测的有效手段,但其直接观测范围仍然有限。海洋数值模式提供了一种存在仿真误差的大范围海洋背景场,将CAT观测结果与海洋背景结果同化,可以提高... 沿海声层析(Coastal Acoustic Tomography,简称CAT)是利用高频声信号实现近海大范围流场观测的有效手段,但其直接观测范围仍然有限。海洋数值模式提供了一种存在仿真误差的大范围海洋背景场,将CAT观测结果与海洋背景结果同化,可以提高流场结果的分辨率和准确度。本文提出一种利用流函数拟合海洋模式流场结果并使用集合卡尔曼滤波算法同化CAT数据的方法,获得更大范围的海洋水平二维流场结果。同化研究以非结构化网格有限体积海洋数值模式(Finite-Volume Community Ocean Model,简称FVCOM)作为背景场,以2016年6月1日至3日在印度尼西亚巴厘海峡(Bali Strait)进行的4站CAT实验作为观测数据。经过背景场流函数拟合和CAT数据同化,获得巴厘海峡二维流场。同化结果分别与同期观测结果和潮位数据对比,发现流函数拟合同化后的流场能更准确地描述巴厘海峡涨落潮和流量情况,通过引入CAT数据与流场的函数关系,可以有效地降低海洋模式的误差和原观测数据的稀疏性。 展开更多
关键词 沿海声层析 数据同化 集合卡尔曼滤波 流函数有限体积海洋模式
在线阅读 下载PDF
不确定性数据管理技术研究综述 被引量:186
7
作者 周傲英 金澈清 +1 位作者 王国仁 李建中 《计算机学报》 EI CSCD 北大核心 2009年第1期1-16,共16页
随着数据采集和处理技术的进步,人们对数据的不确定性的认识也逐步深入.在诸如经济、军事、物流、金融、电信等领域的具体应用中,数据的不确定性普遍存在.不确定性数据的表现形式多种多样,它们可以以关系型数据、半结构化数据、流数据... 随着数据采集和处理技术的进步,人们对数据的不确定性的认识也逐步深入.在诸如经济、军事、物流、金融、电信等领域的具体应用中,数据的不确定性普遍存在.不确定性数据的表现形式多种多样,它们可以以关系型数据、半结构化数据、流数据或移动对象数据等形式出现.目前,根据应用特点与数据形式差异,研究者已经提出了多种针对不确定数据的数据模型.这些不确定性数据模型的核心思想都源自于可能世界模型.可能世界模型从一个或多个不确定的数据源演化出诸多确定的数据库实例,称为可能世界实例,而且所有实例的概率之和等于1.尽管可以首先分别为各个实例计算查询结果,然后合并中间结果以生成最终查询结果,但由于可能世界实例的数量远大于不确定性数据库的规模,这种方法并不可行.因此,必须运用排序、剪枝等启发式技术设计新型算法,以提高效率.文中介绍了不确定性数据管理技术的概念、特点与挑战,综述了数据模型、数据预处理与集成、存储与索引、查询处理等方面的工作. 展开更多
关键词 不确定性数据 可能世界模型 数据集成 世系 不确定数据流
在线阅读 下载PDF
配电自动化的数据流管理系统设计 被引量:13
8
作者 王永利 徐宏炳 +2 位作者 董逸生 钱江波 刘学军 《电力系统自动化》 EI CSCD 北大核心 2004年第13期85-89,96,共6页
数据采集与监视控制(SCADA)系统采集的各种实时、连续、有序的值序列是典型的数据流,而目前SCADA系统所采用的实时数据库系统对数据流处理的实时性和自适应性要求尚需改进。文中以配电自动化管理为应用背景,提出一个支持配电自动化的数... 数据采集与监视控制(SCADA)系统采集的各种实时、连续、有序的值序列是典型的数据流,而目前SCADA系统所采用的实时数据库系统对数据流处理的实时性和自适应性要求尚需改进。文中以配电自动化管理为应用背景,提出一个支持配电自动化的数据流管理系统,在配电网远方终端加入查询处理层,降低网络传输负载,提高配电网数据处理的实时性和可靠性。文中描述了系统的基本结构、各组成部分的功能和关键技术,探讨了有关分布式连续查询处理、近似计算、归档数据处理等问题,并提出在数据流研究方面的一些新看法。 展开更多
关键词 配电自动化 数据流管理系统 连续查询 近似计算
在线阅读 下载PDF
数据流分析与技术研究 被引量:7
9
作者 李岩 王惠文 叶明 《计算机工程与应用》 CSCD 北大核心 2008年第15期8-11,共4页
数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝和不可预测的特点,对其进行有效地分析和挖掘遇到了极大的挑战。介绍了数据流的基本概念、数据流模型、数据流处理模型和目前一些数据流管理系统,并对数据流技... 数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝和不可预测的特点,对其进行有效地分析和挖掘遇到了极大的挑战。介绍了数据流的基本概念、数据流模型、数据流处理模型和目前一些数据流管理系统,并对数据流技术及其挖掘算法进行归纳和分类论述。 展开更多
关键词 数据流 dsmS 概要数据结构 滑动窗口
在线阅读 下载PDF
面向流数据的数据管理系统的研究 被引量:6
10
作者 桂浩 冯玉才 李又奎 《计算机应用研究》 CSCD 北大核心 2005年第1期88-90,133,共4页
传统关系数据库系统通常用来存储没有时间概念的相对静止的数据,对于一些新的应用领域,信息是以数据序列的形式产生并且需要实时地、持续地进行处理,这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统... 传统关系数据库系统通常用来存储没有时间概念的相对静止的数据,对于一些新的应用领域,信息是以数据序列的形式产生并且需要实时地、持续地进行处理,这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统,它能有效地处理输入流数据并提供持续检索的功能。从整体上分析数据流管理系统的体系结构,重点讨论基于流数据的数据模型和流查询。 展开更多
关键词 数据流管理系统 数据库 流查询
在线阅读 下载PDF
大数据与数学地球科学研究进展——大数据与数学地球科学专题代序 被引量:108
11
作者 周永章 陈烁 +4 位作者 张旗 肖凡 王树功 刘艳鹏 焦守涛 《岩石学报》 SCIE EI CAS CSCD 北大核心 2018年第2期255-263,共9页
大数据与数学地球科学的核心应用技术包括高维数据降维、图像数据处理、无限数据流挖掘、机器学习、关联规则算法与推荐系统算法等。人工智能地质学,包括大数据-智能矿床成因模型与找矿模型的构建,是具有重要价值的研究方向。高维数据... 大数据与数学地球科学的核心应用技术包括高维数据降维、图像数据处理、无限数据流挖掘、机器学习、关联规则算法与推荐系统算法等。人工智能地质学,包括大数据-智能矿床成因模型与找矿模型的构建,是具有重要价值的研究方向。高维数据降维旨在从初始高维特征集合中选出低维特征集合,有效地消除无关和冗余特征,增强学习结果的易理解性。哈希算法、聚类分析、主成分分析等是较常用的数学降维工具。机器学习是人工智能的核心,是使计算机具有智能的根本途径。机器学习与人工智能各种基础问题的统一性观点正在形成。深度学习的训练模型往往需要海量数据作为支撑,因此迁移学习方法日益受到重视。图像模式识别是大数据挖掘的重要技术。网络中的社区结构识别对理解整个网络的结构和功能有重要价值,可帮助分析、预测网络各元素间的交互关系。沉浸式虚拟现实技术是实现大数据可视化的重要方向,对具有多元、异构、时空性、非线性、多尺度地质矿产勘查数据的展示要求有特别的价值。引入VR技术进行矿产地质大数据的可视化,可实现大数据时代矿产勘查数据的新认知。无限数据流在地质、地球化学、地球物理监测中大量存在,甚至可以持续自动产生。对数据流数据的计算包括对点查询、范围查询、内积查询、分位数计算、频繁项计算等。关联规则和推荐系统算法是大数据挖掘中的重要算法,其应用范围越来越广泛。贝叶斯原理在大数据时代有独特的价值,贝叶斯网络是成因建模的一个革命性工具。智能地质学研究刚刚起步,构建大数据-智能矿床成因模型与找矿模型是智能地质学研究的重要内容。矿床模型研究方式的变革,将出现于互联网、云计算技术环境下全球各地的矿床研究团队的共同参与。 展开更多
关键词 大数据挖掘 高维数据降维 图像数据处理 无限数据流挖掘 机器学习 关联规则 人工智能地质学 智能矿床模型 贝叶斯网络
在线阅读 下载PDF
智能电网时序大数据实时处理系统 被引量:30
12
作者 王远 陶烨 +2 位作者 蒋英明 陈波 陈立宇 《计算机应用》 CSCD 北大核心 2015年第A02期88-92,共5页
针对智能电网时序数据设备多、数据规模大、产生速度快等特点,设计并实现了一个面向智能电网的时序大数据实时处理系统。针对电网领域"批量"与"快照"两类典型场景,提出面向场景的时序数据采集技术,实现了时序数据... 针对智能电网时序数据设备多、数据规模大、产生速度快等特点,设计并实现了一个面向智能电网的时序大数据实时处理系统。针对电网领域"批量"与"快照"两类典型场景,提出面向场景的时序数据采集技术,实现了时序数据的高速、可靠采集;基于流计算技术,实现了各类时序数据的高速预处理;设计了面向时序数据的混合存储模型,综合应用键值模型与关系模型,实现了时序数据的可靠存储和高效访问。通过模拟某省用电信息采集应用场景,验证了系统性能:单节点数据采集能力超过1 000万/秒,查询可达到秒级甚至微秒级响应。 展开更多
关键词 大数据 时序 智能电网 实时处理 流计算 键值模型 关系模型
在线阅读 下载PDF
一种基于时间衰减模型的数据流闭合模式挖掘方法 被引量:16
13
作者 韩萌 王志海 原继东 《计算机学报》 EI CSCD 北大核心 2015年第7期1473-1483,共11页
数据流是随着时间顺序快速变化的和连续的,对其进行频繁模式挖掘时会出现概念漂移现象.在一些数据流应用中,通常认为最新的数据具有最大的价值.数据流挖掘会产生大量无用的模式,为了减少无用模式且保证无损压缩,需要挖掘闭合模式.因此,... 数据流是随着时间顺序快速变化的和连续的,对其进行频繁模式挖掘时会出现概念漂移现象.在一些数据流应用中,通常认为最新的数据具有最大的价值.数据流挖掘会产生大量无用的模式,为了减少无用模式且保证无损压缩,需要挖掘闭合模式.因此,提出了一种基于时间衰减模型和闭合算子的数据流闭合模式挖掘方式TDMCS(Time-Decay-Model-based Closed frequent pattern mining on data Stream).该算法采用时间衰减模型来区分滑动窗口内的历史和新近事务权重,使用闭合算子提高闭合模式挖掘的效率,设计使用最小支持度-最大误差率-衰减因子的三层架构避免概念漂移,设计一种均值衰减因子平衡算法的高查全率和高查准率.实验分析表明该算法适用于挖掘高密度、长模式的数据流;且具有较高的效率,在不同大小的滑动窗口条件下性能表现是稳态的,同时也优于其他同类算法. 展开更多
关键词 事务数据流 数据流挖掘 频繁模式挖掘 闭合模式挖掘 时间衰减模型 概念漂移
在线阅读 下载PDF
数据流管理系统综述 被引量:9
14
作者 周明中 龚俭 《计算机工程》 EI CAS CSCD 北大核心 2006年第2期10-12,25,共4页
数据流管理系统提出了一种通用结构模型,它采用窗口机制,连续查询以及相应的优化策略迅速高效地对实时数据进行在线分析处理。文章分析了数据流管理系统的框架结构和构成要素,讨论了其适用范围和优缺点,并指出当前研究中存在的问题及可... 数据流管理系统提出了一种通用结构模型,它采用窗口机制,连续查询以及相应的优化策略迅速高效地对实时数据进行在线分析处理。文章分析了数据流管理系统的框架结构和构成要素,讨论了其适用范围和优缺点,并指出当前研究中存在的问题及可能的发展趋势。 展开更多
关键词 数据流 数据流管理系统 窗几机制 连续查询 优化策略
在线阅读 下载PDF
基于CAN网络的嵌入式软PLC系统环形缓冲研究 被引量:7
15
作者 刘晓文 陈春旭 +3 位作者 张靖 张雷 胡延军 周兴 《工矿自动化》 北大核心 2015年第4期94-98,共5页
为降低嵌入式软PLC系统传输数据的误码率和丢包率,设计了嵌入式软PLC系统的环形缓冲区,建立了环形缓冲区数学模型,分析得到了环形缓冲区的状态方程、状态转移概率及其容量和被充满的概率通式。利用仿真得到不同条件下影响缓冲区容量大... 为降低嵌入式软PLC系统传输数据的误码率和丢包率,设计了嵌入式软PLC系统的环形缓冲区,建立了环形缓冲区数学模型,分析得到了环形缓冲区的状态方程、状态转移概率及其容量和被充满的概率通式。利用仿真得到不同条件下影响缓冲区容量大小的因素,得出在无数据丢失的前提下,缓冲区大小与数据输入流和输出流两者差值的关系:在其他条件不变的情况下,输入流速率与输出流速率的差值越大,所需要的环形缓冲区容量就越大。 展开更多
关键词 嵌入式软PLC系统 环形缓冲区模型 环形缓冲区容量 数据输入流 数据输出流 CAN总线
在线阅读 下载PDF
支持大规模流数据处理的在线MapReduce数据传输机制 被引量:4
16
作者 魏晓辉 李聪 +4 位作者 李洪亮 李翔 刘圆圆 李丽娜 庄园 《吉林大学学报(理学版)》 CAS CSCD 北大核心 2015年第2期273-279,共7页
针对流数据规模参差不齐、流量动态变化且突发性较强的特点,提出一种可伸缩的动态MapReduce计算模型,支持大规模动/静态数据在线处理.基于Event推送方式,利用Netty底层异步通信方式等技术,建立在线MapReduce数据传输机制,进一步实现其... 针对流数据规模参差不齐、流量动态变化且突发性较强的特点,提出一种可伸缩的动态MapReduce计算模型,支持大规模动/静态数据在线处理.基于Event推送方式,利用Netty底层异步通信方式等技术,建立在线MapReduce数据传输机制,进一步实现其原型程序,解决了大规模分布式计算程序的快速在线传输和数据分发等问题,支持流数据动态分发机制,为动态MapReduce模型提供支撑.与HadoopOnline系统的传统Socket管道传送方式相比,该方法能有效提高作业之间数据的传送效率,从而提高大规模流数据处理的实时性. 展开更多
关键词 大数据 流数据处理 MAPREDUCE模型 数据传输机制
在线阅读 下载PDF
面向噪音和概念漂移数据流的集成分类算法 被引量:8
17
作者 王中心 孙刚 王浩 《小型微型计算机系统》 CSCD 北大核心 2016年第7期1445-1449,共5页
隐含概念漂移的数据流分类问题是数据挖掘领域研究的热点之一,而实际数据流中的噪音会影响数据流的分类质量,为此,提出一种面向噪音和概念漂移数据流的集成分类算法.该算法使用支持向量机作为基分类器,采用贝叶斯分类器过滤噪音,利用Hoe... 隐含概念漂移的数据流分类问题是数据挖掘领域研究的热点之一,而实际数据流中的噪音会影响数据流的分类质量,为此,提出一种面向噪音和概念漂移数据流的集成分类算法.该算法使用支持向量机作为基分类器,采用贝叶斯分类器过滤噪音,利用Hoeffding Bounds不等式确定的双阈值检测概念漂移,并动态地更新分类模型以适应数据流环境的变化.实验结果表明,本文提出的算法可以有效地跟踪检测含噪数据流中的概念漂移,并且具有较好的分类精度. 展开更多
关键词 数据流 噪音 概念漂移 分类 集成模型
在线阅读 下载PDF
基于时间衰减模型的数据流频繁模式挖掘 被引量:9
18
作者 吴枫 仲妍 吴泉源 《自动化学报》 EI CSCD 北大核心 2010年第5期674-684,共11页
频繁模式挖掘是数据流挖掘中的重要研究课题.针对数据流的时效性和流中心的偏移性特点,提出了界标窗口模型与时间衰减模型相结合的数据流频繁模式挖掘算法.该算法通过动态构建全局模式树,利用时间指数衰减函数对模式树中各模式的支持数... 频繁模式挖掘是数据流挖掘中的重要研究课题.针对数据流的时效性和流中心的偏移性特点,提出了界标窗口模型与时间衰减模型相结合的数据流频繁模式挖掘算法.该算法通过动态构建全局模式树,利用时间指数衰减函数对模式树中各模式的支持数进行统计,以此刻画界标窗口内模式的频繁程度;进而,为有效降低空间开销,设计了剪枝阈值函数,用于对预期难以成长为频繁的模式及时从全局树中剪除.本文对出现在算法中的重要参数和阈值进行了深入分析.一系列实验表明,与现有同类算法MSW相比,该算法挖掘精度高(平均超过90%),内存开销小,速度上可以满足高速数据流的处理要求,且可以适应不同事务数量、不同事务平均长度和不同最大潜在频繁模式平均长度的数据流频繁模式挖掘. 展开更多
关键词 数据流 频繁模式挖掘 数据挖掘 时间衰减模型
在线阅读 下载PDF
基于时空分析的复杂交通流数据挖掘算法 被引量:10
19
作者 王涛 王俊峰 +1 位作者 罗积玉 兰时勇 《四川大学学报(工程科学版)》 EI CAS CSCD 北大核心 2011年第5期153-158,共6页
为了建立一种易于计算机实现的线性算法来进行交通流数据挖掘,同时建立更加精确的路段交通流模型,通过分析复杂交通数据所特有的流特征和时空特征提出了一种新的交通流数据挖掘算法。首先采用时空滑动窗口数据模型降低了算法的时空复杂... 为了建立一种易于计算机实现的线性算法来进行交通流数据挖掘,同时建立更加精确的路段交通流模型,通过分析复杂交通数据所特有的流特征和时空特征提出了一种新的交通流数据挖掘算法。首先采用时空滑动窗口数据模型降低了算法的时空复杂度,并实现了动态挖掘;通过对数据流进行聚类分析发现彼此间相似的数据流,并按时段分簇;对每一簇通过主成分分析法剔除非关键变量,最后使用分时段多元线性回归方程构建兴趣模式的表达式,该算法为动态算法,交通实测数据实验证明模型的拟合精度较高,拟合值与真值的平均绝对误差值控制在9秒以内,平均相对误差值控制在5%以内,综合各个时段来看,预测的准确度都在90%以上。 展开更多
关键词 流数据挖掘 时空分析 交通流模型
在线阅读 下载PDF
基于分形技术的数据流突变检测算法 被引量:12
20
作者 秦首科 钱卫宁 周傲英 《软件学报》 EI CSCD 北大核心 2006年第9期1969-1979,共11页
数据流上的突变检测技术由于其在风险分析、网络监测、趋势分析等领域广阔的应用前景而受到学术界和工业界越来越多的关注.为了在数据流上检测多个滑动窗口上的单调聚集函数值和非单调聚集函数值的突变,提出了基于分形技术的构建单调搜... 数据流上的突变检测技术由于其在风险分析、网络监测、趋势分析等领域广阔的应用前景而受到学术界和工业界越来越多的关注.为了在数据流上检测多个滑动窗口上的单调聚集函数值和非单调聚集函数值的突变,提出了基于分形技术的构建单调搜索空间的突变检测算法.首先给出了数据流上的分段分形模型,进而基于该模型设计了突变检测算法.该算法能够将突变检测处理时间复杂度从O(m)降为O(logm)(m为需要被检测的滑动窗口数目).提出的两种新颖的分段分形模型能够准确地对数据流的自相似性进行建模并压缩数据流.理论分析和实验结果表明,与已有研究成果相比,算法具有较高的精度和较低的时间/空间复杂度,更加适用于进行数据流的突变检测. 展开更多
关键词 数据流 突变检测 分形 分段分形模型 搜索空间
在线阅读 下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部