针对高效用模式挖掘任务中假阳性模式和冗余模式的判别问题,提出一种基于无限制检验和独立成长率的判别高效用模式挖掘算法UTDHU(Unlimited Testing for Discriminative High Utility pattern mining)。首先,找到目标事务集合中满足效...针对高效用模式挖掘任务中假阳性模式和冗余模式的判别问题,提出一种基于无限制检验和独立成长率的判别高效用模式挖掘算法UTDHU(Unlimited Testing for Discriminative High Utility pattern mining)。首先,找到目标事务集合中满足效用阈值和差异阈值的判别高效用模式;其次,建立前缀项共享树以快速计算每个模式的独立成长率,并基于独立成长率筛除未超过独立阈值的冗余判别高效用模式;最后,使用无限制检验计算余下每个模式的统计显著性度量p值,并根据错误率判断族过滤整体结果中的假阳性判别高效用模式。在4个基准事务集合和2个仿真事务集合上的实验结果表明,相较于Hamm和YBHU(Yekutieli-Benjamini resampling for High Utility pattern mining)等算法,所提算法在模式数量方面输出最少,过滤了至少97.8%的被检验模式;在模式质量方面,所提算法的假阳性判别高效用模式占比低于5.2%,且构造特征的分类准确率高于对比算法至少1.5个百分点;虽然所提算法在运行时间方面慢于Hamm算法,但快于其余3个基于统计显著性检验的算法。可见,所提算法能够有效剔除一定数量的假阳性和冗余判别高效用模式,在挖掘性能上更优,且运行效率更高。展开更多
现有的基于滑动窗口挖掘高效用项集的研究方法存在:候选项集通常数量巨大,需要大量的存储空间及计算候选项集的真实效用是非常耗时的问题。本文提出一种不生成候选项集的挖掘算法HUISW(high utility itemset mining over a siding windo...现有的基于滑动窗口挖掘高效用项集的研究方法存在:候选项集通常数量巨大,需要大量的存储空间及计算候选项集的真实效用是非常耗时的问题。本文提出一种不生成候选项集的挖掘算法HUISW(high utility itemset mining over a siding window),HUISW采用一种新的树结构HUIL-Tree(high utility itemset tee which arranges items according to lexicographic order)存储滑动窗口中的项集信息,采用效用数据库存储项集在窗口事务中的效用信息,在挖掘过程中HUISW采用模式增长的方法对由HUIL-Tree生成的项集通过其与效用数据库的对应关系,直接计算其在滑动窗口中的效用,整个过程避免了候选项集的生成。在实验中通过由稀疏和稠密数据集模拟的数据流对HUISW进行性能评估,并与同类算法SHU-Growth(siding window based high utility growth)进行比较,实验结果表明HUISW显著优于SHU-Growth,运行时间最快可提升两个数量级。展开更多
为了快速地从无限的流数据中挖掘出高效用模式,基于已有算法HUM-UT提出一种流数据上的高效用模式挖掘算法——IHUM-UT(Improved High Utility Mining based on Utility Tree)算法.IHUM-UT算法通过压缩HUM-UT算法的头表大小,使其只包含...为了快速地从无限的流数据中挖掘出高效用模式,基于已有算法HUM-UT提出一种流数据上的高效用模式挖掘算法——IHUM-UT(Improved High Utility Mining based on Utility Tree)算法.IHUM-UT算法通过压缩HUM-UT算法的头表大小,使其只包含滑动窗口中关注的数据,减少挖掘时所要遍历的数据量,达到提高时间效率的目的.结合两个数据集,调节最小效用阈值、批大小和窗口大小,对两个算法进行对比实验,实验结果表明,IHUM-UT算法得到的高效用模式集与HUM-UT算法完全一致,在时间效率上有较大提升,这种提升在关注数据量较少、不同数据项个数较多的情况下更为突出.展开更多
现有的面向数据流的高效用模式挖掘方法局限性之一在于假定数据都带有正的效用值,且在挖掘过程中使用效用列表会消耗大量的时间和内存。为了解决以上问题,首次提出在数据流中挖掘含负项的高效用模式挖掘算法,在算法中设计了一种新颖的...现有的面向数据流的高效用模式挖掘方法局限性之一在于假定数据都带有正的效用值,且在挖掘过程中使用效用列表会消耗大量的时间和内存。为了解决以上问题,首次提出在数据流中挖掘含负项的高效用模式挖掘算法,在算法中设计了一种新颖的列表索引结构(list index structure,LIS),LIS包括数据段和索引段,依据索引段中的索引值以及项集中的正负效用值,在滑动窗口中可快速访问或更新数据段并及时剪枝,有效挖掘含负项的高效用模式,以此来提升算法的时空性能。进行了广泛的实验评估来验证算法的效率,实验结果表明,提出算法在内存消耗及运行时间方面均表现出良好的性能。展开更多
文摘针对高效用模式挖掘任务中假阳性模式和冗余模式的判别问题,提出一种基于无限制检验和独立成长率的判别高效用模式挖掘算法UTDHU(Unlimited Testing for Discriminative High Utility pattern mining)。首先,找到目标事务集合中满足效用阈值和差异阈值的判别高效用模式;其次,建立前缀项共享树以快速计算每个模式的独立成长率,并基于独立成长率筛除未超过独立阈值的冗余判别高效用模式;最后,使用无限制检验计算余下每个模式的统计显著性度量p值,并根据错误率判断族过滤整体结果中的假阳性判别高效用模式。在4个基准事务集合和2个仿真事务集合上的实验结果表明,相较于Hamm和YBHU(Yekutieli-Benjamini resampling for High Utility pattern mining)等算法,所提算法在模式数量方面输出最少,过滤了至少97.8%的被检验模式;在模式质量方面,所提算法的假阳性判别高效用模式占比低于5.2%,且构造特征的分类准确率高于对比算法至少1.5个百分点;虽然所提算法在运行时间方面慢于Hamm算法,但快于其余3个基于统计显著性检验的算法。可见,所提算法能够有效剔除一定数量的假阳性和冗余判别高效用模式,在挖掘性能上更优,且运行效率更高。
文摘现有的基于滑动窗口挖掘高效用项集的研究方法存在:候选项集通常数量巨大,需要大量的存储空间及计算候选项集的真实效用是非常耗时的问题。本文提出一种不生成候选项集的挖掘算法HUISW(high utility itemset mining over a siding window),HUISW采用一种新的树结构HUIL-Tree(high utility itemset tee which arranges items according to lexicographic order)存储滑动窗口中的项集信息,采用效用数据库存储项集在窗口事务中的效用信息,在挖掘过程中HUISW采用模式增长的方法对由HUIL-Tree生成的项集通过其与效用数据库的对应关系,直接计算其在滑动窗口中的效用,整个过程避免了候选项集的生成。在实验中通过由稀疏和稠密数据集模拟的数据流对HUISW进行性能评估,并与同类算法SHU-Growth(siding window based high utility growth)进行比较,实验结果表明HUISW显著优于SHU-Growth,运行时间最快可提升两个数量级。
文摘为了快速地从无限的流数据中挖掘出高效用模式,基于已有算法HUM-UT提出一种流数据上的高效用模式挖掘算法——IHUM-UT(Improved High Utility Mining based on Utility Tree)算法.IHUM-UT算法通过压缩HUM-UT算法的头表大小,使其只包含滑动窗口中关注的数据,减少挖掘时所要遍历的数据量,达到提高时间效率的目的.结合两个数据集,调节最小效用阈值、批大小和窗口大小,对两个算法进行对比实验,实验结果表明,IHUM-UT算法得到的高效用模式集与HUM-UT算法完全一致,在时间效率上有较大提升,这种提升在关注数据量较少、不同数据项个数较多的情况下更为突出.
文摘现有的面向数据流的高效用模式挖掘方法局限性之一在于假定数据都带有正的效用值,且在挖掘过程中使用效用列表会消耗大量的时间和内存。为了解决以上问题,首次提出在数据流中挖掘含负项的高效用模式挖掘算法,在算法中设计了一种新颖的列表索引结构(list index structure,LIS),LIS包括数据段和索引段,依据索引段中的索引值以及项集中的正负效用值,在滑动窗口中可快速访问或更新数据段并及时剪枝,有效挖掘含负项的高效用模式,以此来提升算法的时空性能。进行了广泛的实验评估来验证算法的效率,实验结果表明,提出算法在内存消耗及运行时间方面均表现出良好的性能。
