针对高效用模式挖掘任务中假阳性模式和冗余模式的判别问题,提出一种基于无限制检验和独立成长率的判别高效用模式挖掘算法UTDHU(Unlimited Testing for Discriminative High Utility pattern mining)。首先,找到目标事务集合中满足效...针对高效用模式挖掘任务中假阳性模式和冗余模式的判别问题,提出一种基于无限制检验和独立成长率的判别高效用模式挖掘算法UTDHU(Unlimited Testing for Discriminative High Utility pattern mining)。首先,找到目标事务集合中满足效用阈值和差异阈值的判别高效用模式;其次,建立前缀项共享树以快速计算每个模式的独立成长率,并基于独立成长率筛除未超过独立阈值的冗余判别高效用模式;最后,使用无限制检验计算余下每个模式的统计显著性度量p值,并根据错误率判断族过滤整体结果中的假阳性判别高效用模式。在4个基准事务集合和2个仿真事务集合上的实验结果表明,相较于Hamm和YBHU(Yekutieli-Benjamini resampling for High Utility pattern mining)等算法,所提算法在模式数量方面输出最少,过滤了至少97.8%的被检验模式;在模式质量方面,所提算法的假阳性判别高效用模式占比低于5.2%,且构造特征的分类准确率高于对比算法至少1.5个百分点;虽然所提算法在运行时间方面慢于Hamm算法,但快于其余3个基于统计显著性检验的算法。可见,所提算法能够有效剔除一定数量的假阳性和冗余判别高效用模式,在挖掘性能上更优,且运行效率更高。展开更多
为了快速地从无限的流数据中挖掘出高效用模式,基于已有算法HUM-UT提出一种流数据上的高效用模式挖掘算法——IHUM-UT(Improved High Utility Mining based on Utility Tree)算法.IHUM-UT算法通过压缩HUM-UT算法的头表大小,使其只包含...为了快速地从无限的流数据中挖掘出高效用模式,基于已有算法HUM-UT提出一种流数据上的高效用模式挖掘算法——IHUM-UT(Improved High Utility Mining based on Utility Tree)算法.IHUM-UT算法通过压缩HUM-UT算法的头表大小,使其只包含滑动窗口中关注的数据,减少挖掘时所要遍历的数据量,达到提高时间效率的目的.结合两个数据集,调节最小效用阈值、批大小和窗口大小,对两个算法进行对比实验,实验结果表明,IHUM-UT算法得到的高效用模式集与HUM-UT算法完全一致,在时间效率上有较大提升,这种提升在关注数据量较少、不同数据项个数较多的情况下更为突出.展开更多
现有的面向数据流的高效用模式挖掘方法局限性之一在于假定数据都带有正的效用值,且在挖掘过程中使用效用列表会消耗大量的时间和内存。为了解决以上问题,首次提出在数据流中挖掘含负项的高效用模式挖掘算法,在算法中设计了一种新颖的...现有的面向数据流的高效用模式挖掘方法局限性之一在于假定数据都带有正的效用值,且在挖掘过程中使用效用列表会消耗大量的时间和内存。为了解决以上问题,首次提出在数据流中挖掘含负项的高效用模式挖掘算法,在算法中设计了一种新颖的列表索引结构(list index structure,LIS),LIS包括数据段和索引段,依据索引段中的索引值以及项集中的正负效用值,在滑动窗口中可快速访问或更新数据段并及时剪枝,有效挖掘含负项的高效用模式,以此来提升算法的时空性能。进行了广泛的实验评估来验证算法的效率,实验结果表明,提出算法在内存消耗及运行时间方面均表现出良好的性能。展开更多
文摘针对高效用模式挖掘任务中假阳性模式和冗余模式的判别问题,提出一种基于无限制检验和独立成长率的判别高效用模式挖掘算法UTDHU(Unlimited Testing for Discriminative High Utility pattern mining)。首先,找到目标事务集合中满足效用阈值和差异阈值的判别高效用模式;其次,建立前缀项共享树以快速计算每个模式的独立成长率,并基于独立成长率筛除未超过独立阈值的冗余判别高效用模式;最后,使用无限制检验计算余下每个模式的统计显著性度量p值,并根据错误率判断族过滤整体结果中的假阳性判别高效用模式。在4个基准事务集合和2个仿真事务集合上的实验结果表明,相较于Hamm和YBHU(Yekutieli-Benjamini resampling for High Utility pattern mining)等算法,所提算法在模式数量方面输出最少,过滤了至少97.8%的被检验模式;在模式质量方面,所提算法的假阳性判别高效用模式占比低于5.2%,且构造特征的分类准确率高于对比算法至少1.5个百分点;虽然所提算法在运行时间方面慢于Hamm算法,但快于其余3个基于统计显著性检验的算法。可见,所提算法能够有效剔除一定数量的假阳性和冗余判别高效用模式,在挖掘性能上更优,且运行效率更高。
文摘为了快速地从无限的流数据中挖掘出高效用模式,基于已有算法HUM-UT提出一种流数据上的高效用模式挖掘算法——IHUM-UT(Improved High Utility Mining based on Utility Tree)算法.IHUM-UT算法通过压缩HUM-UT算法的头表大小,使其只包含滑动窗口中关注的数据,减少挖掘时所要遍历的数据量,达到提高时间效率的目的.结合两个数据集,调节最小效用阈值、批大小和窗口大小,对两个算法进行对比实验,实验结果表明,IHUM-UT算法得到的高效用模式集与HUM-UT算法完全一致,在时间效率上有较大提升,这种提升在关注数据量较少、不同数据项个数较多的情况下更为突出.
文摘现有的面向数据流的高效用模式挖掘方法局限性之一在于假定数据都带有正的效用值,且在挖掘过程中使用效用列表会消耗大量的时间和内存。为了解决以上问题,首次提出在数据流中挖掘含负项的高效用模式挖掘算法,在算法中设计了一种新颖的列表索引结构(list index structure,LIS),LIS包括数据段和索引段,依据索引段中的索引值以及项集中的正负效用值,在滑动窗口中可快速访问或更新数据段并及时剪枝,有效挖掘含负项的高效用模式,以此来提升算法的时空性能。进行了广泛的实验评估来验证算法的效率,实验结果表明,提出算法在内存消耗及运行时间方面均表现出良好的性能。
