-
题名大数据中基于熵加权的稀疏分数特征选择聚类算法
被引量：5
- 1
-
-
作者
魏霖静
宁璐璐
郭斌
侯振兴
-
机构
甘肃农业大学信息科学技术学院
南洋理工大学生物科学学院
河海大学计算机与信息学院
南京大学信息管理学院
-
出处
《计算机应用研究》
CSCD
北大核心
2018年第8期2293-2294,2303,共3页
-
基金
国家自然科学基金资助项目(61063028
31560378)
+4 种基金
江苏省自然科学基金青年基金资助项目(BK20150784)
中国博士后面上资助项目(2015M581800)
甘肃省科技支撑计划项目(1604WKCA011)
陇原青年创新创业人才项目(2016-47)
2016年度甘肃省高校重大软科学(战略)研究项目计划资助项目(2016F-10)
-
文摘
为了提高大数据统计及分析的效率,有必要对数据集合进行聚类,以减少数据集合维度,并去掉相似数据冗余。采用熵加权和稀疏分数特征选择相结合,一方面对异构数据进行局部结构划分,降低数据维度,对局部结构的特征重要性标记并排序,提高聚类精度,另一方面,提高聚类稳定性。实验证明,该方法对不同种类的大数据聚类具有较强的适用性。
-
关键词
数据聚类
熵加权
稀疏分数
特征选择
数据维度
大数据
-
Keywords
data clustering
entropy weighted
sparse fraction
feature selection
data dimension
big data
-
分类号
TP274
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名云模式事件混沌关联特征提取的物联网大数据聚类算法
被引量：10
- 2
-
-
作者
王雪蓉
万年红
-
机构
浙江东方职业技术学院教学工作部
浙江东方职业技术学院数字工程学院
-
出处
《计算机应用研究》
CSCD
北大核心
2021年第2期391-397,共7页
-
文摘
目前的聚类方法单纯从某个角度研究数据聚类问题,对基于云模式的混沌的物联网大数据聚类的考虑不足,聚类质量不高。为实现敏捷、智能、平稳的物联网大数据聚类,基于开展物联网事件的云模式通用描述模型、物联网事件混沌关联特征的云模式通用解析模型、基于云模式的物联网事件混沌关联特征提取算法、基于云模式混沌关联特征的物联网大数据关联挖掘研究,改进分解奇异值算法、网格耦合聚类算法、K-means算法、决策树学习法、分析主成分法、分层合并法等算法和分布概率函数,设计了一种基于事件混沌关联特征、敏捷、智能、平稳的物联网大数据聚类算法。最后,开展实验验证,并与传统算法进行性能对比分析。实验结果表明,相比传统算法,该算法聚类时间短、误差小,且敏捷性、智能性、动态演化性和平稳性高。因此,该算法实现了基于云模式的具有混沌关联特征的物联网事件大数据的有效聚类,具有较高的应用价值。
-
关键词
物联网事件
云模式
混沌关联特征
关联挖掘
大数据聚类算法
-
Keywords
events of Internet of Things
cloud pattern
chaotic correlation features
correlation mining
clustering algorithms on big data
-
分类号
TP392
[自动化与计算机技术—计算机应用技术]
-
-
题名大数据集合中冗余特征排除的聚类算法设计
被引量：9
- 3
-
-
作者
侯莉莎
-
机构
天津大学
北京经贸职业学院
-
出处
《现代电子技术》
北大核心
2018年第14期48-50,54,共4页
-
基金
2014年度天津市教委科研计划项目(20140811)~~
-
文摘
传统microRNA聚类算法对数据的新特征要求较高,未全面分析大数据集内的冗余特征,使得聚类结果均衡性差。因此,提出大数据集合中冗余特征排除的聚类算法,其采用聚类集成算法,在组构造时期通过使用一致的聚类算法抽取各种子集样本,实现大数据冗余特征的排除,获取排除冗余特征的大数据集聚类结果。对得到的大数据聚类特征分类能力以及特征关联性实施度量,采用基于特征聚类以及随机子空间的miRNA识别算法,实现大数据集合冗余特征的聚类。实验结果表明,所提算法具有较高的冗余数据排除性能,该算法下的大数据聚类效果优,具有较高的均衡性。
-
关键词
大数据集
冗余特征排除
聚类算法
特征关联性
随机子空间
miRNA识别算法
-
Keywords
big data set
redundancy feature removal
clustering algorithm
feature correlation
stochastic subspace
miRNA recognition algorithm
-
分类号
TN911-34
[电子电信—通信与信息系统]
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于混沌关联维特征提取的大数据聚类算法
被引量：6
- 4
-
-
作者
谢川
-
机构
空军工程大学航空航天工程学院
-
出处
《计算机科学》
CSCD
北大核心
2016年第6期229-232,共4页
-
基金
陕西自然科学基金:无铅焊点在多场耦合作用下的失效行为及寿命预测方法(2015JM6345)资助
-
文摘
大数据聚类过程是一个随机的非线性处理过程,具有很高的不确定性。由于传统方法需要先验知识进行学习,不能很好地适应大数据的实时变化情况,无法有效实现大数据聚类,因此提出一种基于混沌关联特征提取的大数据聚类算法。分析了传统方法的弊端,通过重构相空间建立了一个多维的状态空间向量与混沌轨迹,使原系统中很多几何特征量保持不变,为分析原系统的混沌特征提供有效依据。将平均互信息量取第一个最小值时的横坐标所指的时间延迟作为重构相空间的最佳时间延迟,采用虚假最近邻点算法对最佳嵌入维数进行选择。将提取的关联维数这一特征量作为大数据聚类的混沌特征量,依据提取的混沌关联维特征对大数据进行聚类。仿真实验表明,所提算法能够有效提高数据的聚类效率,减少能耗,是一种有效的数据聚类方法。
-
关键词
混沌关联维特征
大数据
聚类
-
Keywords
chaos correlation dimension feature,big data,clustering
-
分类号
TP399
[自动化与计算机技术—计算机应用技术]
-
-
题名基于网络外包的专业技能关联知识库构建
被引量：4
- 5
-
-
作者
马天翼
张朋柱
刘景方
-
机构
上海交通大学安泰经济与管理学院
上海大学管理学院
-
出处
《系统管理学报》
CSSCI
CSCD
北大核心
2017年第6期1007-1014,1021,共9页
-
基金
国家自然科学基金青年项目(71301102)
国家自然科学基金资助项目(71171131)
+1 种基金
国家自然科学基金委创新研究群体资助项目(71421002)
长江学者和创新团队发展计划资助项目(IRT13030)
-
文摘
使用中文文本挖掘方法来分析中国高校网页中各专业培养方案和培养目标的非结构化数据集。以K-means文本聚类算法和聚类结果归纳的各专业类别的技能关键词为基础,在集成了所有专业领域的专有特征和专家审核并结合了频率计算方法后,定义了技能指标与相应各个专业的重要性程度。最后,建立了专业和技能之间的关联知识库,为构建网络化创新外包人才技能模型建立了基础。通过实验评估发现,与基于基本中文语料库的分词方法相比较,在中文分词过程中引入专业专有特征的方法能够提供更加精确和合理的聚类结果。因此,本文提出的方法能够高效地构建专业技能关联知识库。
-
关键词
非结构化大数据
技能结构模型
关联知识库
领域特征
文本聚类
-
Keywords
unstructured big data
skill models
correlation knowledge base
domain features
text clustering
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于大数据挖掘的光伏高占比配网电压时空多维评估
被引量：3
- 6
-
-
作者
吴宁
汤程烨
吴含青
-
机构
国网江苏省电力有限公司镇江供电分公司
江苏大学电气信息工程学院
-
出处
《南京理工大学学报》
CAS
CSCD
北大核心
2022年第4期484-493,500,共11页
-
文摘
随着新型配电系统及整县光伏的快速推进,光伏高占比配网成为未来发展的主要趋势之一,但高占比光伏引起的剧烈电压波动、电压越限等问题,亟需对电压状态开展准确评估。针对光伏高占比配网提出一种基于大数据挖掘的电压时空多维评估方法:通过大数据预处理技术对样本数据进行清洗,提出基于K均值聚类算法(K-means clustering algorithm,K-means)的配网电压大数据时空多维挖掘及特征提取方法,为时空多维评估提供数据基础;构建光伏高占比配网电压时空多维评估指标体系,采用主客观组合赋权法对指标进行权重赋值;提出改进模糊灰关联度评估法,利用模糊灰关联度实现量化评估及等级划分。结果表明,所提方法可从多时间尺度、多颗粒度空间尺度挖掘配网电压的薄弱环节,为解决光伏高占比配网电压相关问题提供数据支撑。
-
关键词
大数据挖掘
K均值聚类算法
时空多维
模糊灰关联度
电压评估
-
Keywords
big data mining
K-means clustering algorithm
spatiotemporal multi-dimension
fuzzy grey correlation
voltage evaluation
-
分类号
TM732
[电气工程—电力系统及自动化]
-
