超大量的数据从诸如传感器、社交媒体、互联网应用等物联网产生,这些数据被统称为大数据。传统的工具和技术无法处理大数据。为了从大量数据中提取出对新技术有益的信息,大数据的挖掘尤为重要。非常受关注的关联规则挖掘和高频数据项挖...超大量的数据从诸如传感器、社交媒体、互联网应用等物联网产生,这些数据被统称为大数据。传统的工具和技术无法处理大数据。为了从大量数据中提取出对新技术有益的信息,大数据的挖掘尤为重要。非常受关注的关联规则挖掘和高频数据项挖掘都需要在内存中调入全部数据,但是大量的数据并不适合内存存储。为解决这一难题,业界提出了MapReduce进行并行的大数据处理。本文提出的改进Big FIM算法(Improved Big FIM,IBFIM)运行于MapReduce架构下用于大数据的挖掘.IBFIM相对于Big FIM增加了对更大规模数据的支持并提高了数据挖掘的速度。该研究为更快速、更高效地并行挖掘大数据内容提供参考。展开更多
文摘超大量的数据从诸如传感器、社交媒体、互联网应用等物联网产生,这些数据被统称为大数据。传统的工具和技术无法处理大数据。为了从大量数据中提取出对新技术有益的信息,大数据的挖掘尤为重要。非常受关注的关联规则挖掘和高频数据项挖掘都需要在内存中调入全部数据,但是大量的数据并不适合内存存储。为解决这一难题,业界提出了MapReduce进行并行的大数据处理。本文提出的改进Big FIM算法(Improved Big FIM,IBFIM)运行于MapReduce架构下用于大数据的挖掘.IBFIM相对于Big FIM增加了对更大规模数据的支持并提高了数据挖掘的速度。该研究为更快速、更高效地并行挖掘大数据内容提供参考。
