基于AFS的多民族人脸语义描述与挖掘方法研究 被引量：1

1

作者 段晓东 李泽东 +2 位作者 王存睿 张庆灵 刘晓东 《计算机学报》 EI CSCD 北大核心 2016年第7期1435-1449,共15页

该文提出了一种基于语义规则的多民族人脸特征表达方法.该方法在公理化模糊集理论框架下建立刻画人脸特征的语义概念,构建描绘不同民族人脸特征的语义规则集,并根据语义贴近度及隶属度的关联性设定约简准则进行语义挖掘,进而研究不同民... 该文提出了一种基于语义规则的多民族人脸特征表达方法.该方法在公理化模糊集理论框架下建立刻画人脸特征的语义概念,构建描绘不同民族人脸特征的语义规则集,并根据语义贴近度及隶属度的关联性设定约简准则进行语义挖掘,进而研究不同民族的人脸典型特征.所提方法的特点包括:通过多民族人脸特征数据的分布规律获取表述人脸特征的语义;定义的逻辑运算规则能够实现人脸语义运算,并获得描述人脸多样性特征的复杂语义;挖掘所获的多民族人脸典型特征由具有自然语言解释的语义表述,便于直观理解.文中采用C4.5、Quest、DecisionTable、NeuralNet、BayesNet、SVM和RA等方法对FEI、CK+以及本文所构建的"中华多民族人脸数据库"中的人脸民族属性进行了分析,结果表明该文方法建立的语义规则集不仅能够对各民族人脸特征进行语义解释,而且对个体人脸的民族属性具有较好的判别率,该文方法为研究多民族的人脸语义特征规律提供了一个新途径. 展开更多

关键词 多民族人脸特征 公理化模糊集 语义概念 复杂语义 语义规则集

在线阅读 下载PDF 职称材料

异构微差同步并行训练算法

2

作者 黄山 吴煜凡 +1 位作者 吕鹤轩 段晓东 《计算机工程与科学》 CSCD 北大核心 2024年第11期1949-1959,共11页

前馈神经网络BPNN因具有非线性能力强、自学习能力强、自适应能力强以及容错能力强等优点,被广泛应用于行为识别和预测等领域。随着模型的升级优化和数据量的快速增长,基于大数据分布式计算框架的并行训练架构成为主流。ApacheFlink作... 前馈神经网络BPNN因具有非线性能力强、自学习能力强、自适应能力强以及容错能力强等优点,被广泛应用于行为识别和预测等领域。随着模型的升级优化和数据量的快速增长,基于大数据分布式计算框架的并行训练架构成为主流。ApacheFlink作为新一代大数据计算框架,因其具有高吞吐量、低时延等特点而被广泛应用。硬件设备更新换代速度的加快以及购买批次不同导致现实生活中Flink集群大多数为异构集群,意味着集群中的计算资源不均衡。现有的BPNN并行训练模型无法解决因计算资源不均衡带来的训练过程中高性能节点空转的问题。此外,异构环境下BPNN的并行训练还存在节点数量增加,节点间的通信开销也随之增加的问题。传统的小批量梯度下降方法拥有较好的寻优效果,但随机的初始化模型和小批量的梯度下降特点导致了BPNN并行化训练出现收敛速度缓慢的问题。针对以上问题,为加快异构环境下BPNN并行化训练速度,提高BPNN并行训练效率,提出了异构微差同步并行训练算法。该算法能够针对异构环境下节点性能不同的情况,对节点性能进行评分,并实时地通过数据分区模块动态地按比例分配数据,使节点性能和节点分配数据量成正比,从而减少高性能节点空转时长。 展开更多

关键词 Flink BPNN 并行训练 异构环境

在线阅读 下载PDF 职称材料

三维模型面片链码表示方法 被引量：3

3

作者 魏巍 刘勇奎 +1 位作者 段晓东 郭晨 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2017年第3期537-548,共12页

将三维模型的三角面片表示与基于体素的链码技术相结合,提出一种基于体素的三维模型面片链码表示方法.首先对三维模型进行基于体素空间的切分,将获得的面片顶点归一化在体素顶点上,构造基于体素三角面片的模型表示;然后依据构造的体素... 将三维模型的三角面片表示与基于体素的链码技术相结合,提出一种基于体素的三维模型面片链码表示方法.首先对三维模型进行基于体素空间的切分,将获得的面片顶点归一化在体素顶点上,构造基于体素三角面片的模型表示;然后依据构造的体素三角面片间连接边与第3顶点的位置关系定义面片链码的数据结构;再根据连接边的类型和方向计算层次三角面片法向量的大小和方向;最后通过逐层遍历体素内归一化的三角面片,获得三维模型的面片链码表示.相应地,给出了面片链码的解码方法.文中比较了面片链码与其他三维模型压缩算法的压缩效率和时间开销,计算了不同体素粒度切分的三维模型与被切分的原始模型之间以及与体素切分模型具有同级别面片数量的原始模型之间的误差,结果表明,该方法能够有效地表达三维模型. 展开更多

关键词 体素 面片链码 连接边 三维模型

在线阅读 下载PDF 职称材料

一种新压缩顶点链码

4

作者 魏巍 段晓东 +1 位作者 刘勇奎 郭晨 《计算机应用》 CSCD 北大核心 2017年第6期1747-1752,1776,共7页

链码是一种以较少的数据存储表示线条、曲线和区域边界的编码技术。为进一步提高链码的压缩效率,提出了一种新的压缩顶点链码:改进的正交3方向顶点链码(IO3DVCC)。IO3DVCC将顶点链码(VCC)的统计特征与正交3方向链码(3OT)的方向特征相结... 链码是一种以较少的数据存储表示线条、曲线和区域边界的编码技术。为进一步提高链码的压缩效率,提出了一种新的压缩顶点链码:改进的正交3方向顶点链码(IO3DVCC)。IO3DVCC将顶点链码(VCC)的统计特征与正交3方向链码(3OT)的方向特征相结合,共设5个码值。码值1将VCC中的1、3组合和3、1组合归并表示,码值2与VCC的对应码值表达相同,码值3与3OT中的码值2表达相同,码值4和码值5分别对应2个连续的新链码码值1和8个连续的VCC码值2。新链码基于Huffman编码,为不定长编码。针对100幅图像的轮廓边界,统计并计算了IO3DVCC与改进的相对8方向Freeman链码(ERD8FCC)、基于算数编码的变长相对四方向Freeman链码(AVRF4)、基于算数编码的正交3方向链码(Arith_3OT)、压缩VCC(CVCC)和改进的CVCC(ICVCC)6种链码各码值出现的概率、平均码值表达能力、平均码长和链码效率。实验结果表明,IO3DVCC效率最高。针对随机选择的20幅轮廓边界图像,统计并计算了IO3DVCC、Arith_3OT和ICVCC3种链码表达的总码数、二进制总位数,以及相对于8方向Freeman链码的压缩比率。实验结果表明,IO3DVCC的压缩效果最好。 展开更多

关键词 链码 HUFFMAN编码 图像边界 链码效率 压缩

在线阅读 下载PDF 职称材料

三维模型有向三角面片链码压缩方法 被引量：2

5

作者 刘尚武 魏巍 +1 位作者 段晓东 刘勇奎 《图学学报》 CSCD 北大核心 2021年第2期237-244,共8页

首先提出一种适用于三角面片链码算法的改进MC规格化方法,使用单位为2的体素作为改进MC算法中的单位体素,并使用其中的27个顶点重新构建等值面,最终获取高质量的规格化三角网格模型。在新的规格化模型上提出一种新的面片遍历方式,在三... 首先提出一种适用于三角面片链码算法的改进MC规格化方法,使用单位为2的体素作为改进MC算法中的单位体素,并使用其中的27个顶点重新构建等值面,最终获取高质量的规格化三角网格模型。在新的规格化模型上提出一种新的面片遍历方式,在三角面片链码算法的基础上,采用优先遍历右连接面片原则,控制面片的遍历方向,该方法能够减少面片遍历次数,并且延长面片链码的平均长度。实验结果表明,采用新的规格化方法和新的遍历方法,压缩效果与原三角面片链码相比,具有明显的提升。 展开更多

关键词 面片链码 三维模型 体素 规格化

在线阅读 下载PDF 职称材料

族系间眼动行为模式多样性研究

6

作者 刘朋 逯波 +1 位作者 段晓东 王存睿 《计算机工程与应用》 CSCD 北大核心 2016年第16期90-94,共5页

中国是一个多民族国家,不同民族由于遗传、地域和文化等因素形成了不同的风俗和思考方式。为了研究不同民族观察事物时的眼动行为模式,利用Tobii眼动仪采集不同民族在求解数独问题时眼动轨迹表达数据,将不同族系被试的表达数据压缩为16... 中国是一个多民族国家,不同民族由于遗传、地域和文化等因素形成了不同的风俗和思考方式。为了研究不同民族观察事物时的眼动行为模式,利用Tobii眼动仪采集不同民族在求解数独问题时眼动轨迹表达数据,将不同族系被试的表达数据压缩为16维数据向量来构建数据集;分析对比布依族、蒙古族、朝鲜族、侗族和汉族等5个民族眼动行为数据集的多样性,利用多种机器学习方法对得到的数据进行测试分析。实验结果表明,族系间眼动行为存在多样性,同时为进一步深入探索不同族系间眼动行为的多样性提供了依据。 展开更多

关键词 族系 Tobii眼动仪 眼动行为 机器学习

在线阅读 下载PDF 职称材料

基于三重注意力的脑肿瘤图像分割网络 被引量：8

7

作者 韩阳 宋金淼 +1 位作者 薛安懿 段晓东 《中国生物医学工程学报》 CAS CSCD 北大核心 2022年第1期57-63,共7页

脑肿瘤图像分割问题是脑肿瘤临床诊断和治疗脑肿瘤疾病计算机辅助诊断的基础。针对脑肿瘤MRI图像分割网络深度过深和局部与全局特征信息联系匮乏导致图像分割精度降低等问题,提出一种基于三重注意力的脑肿瘤图像分割网络。首先,借鉴残... 脑肿瘤图像分割问题是脑肿瘤临床诊断和治疗脑肿瘤疾病计算机辅助诊断的基础。针对脑肿瘤MRI图像分割网络深度过深和局部与全局特征信息联系匮乏导致图像分割精度降低等问题,提出一种基于三重注意力的脑肿瘤图像分割网络。首先,借鉴残差结构,将原始图像分割网络结构的编码层和解码层中的卷积模块替换为深度残差模块,解决网络加深带来的梯度消失问题。其次,通过引入三重注意力模块,融合图像局部与全局特征信息,使网络更好地学习重要的图像特征信息,提升网络对脑肿瘤图像的分割精度。最后,在MICCAI比赛发布的BraTS脑肿瘤图像分割数据集上(包括335例患者病例),采用Dice系数等脑肿瘤评价指标进行性能评估。其中,脑肿瘤整体可达85.20%,脑肿瘤核心可达87.10%,增强脑肿瘤区域可达80.80%。实验结果显示,所提出的分割网络能够在不增加计算时间的前提下提高脑肿瘤MRI图像的分割性能。 展开更多

关键词 脑肿瘤分割 三重注意力模块 深度残差模块 MRI图像

在线阅读 下载PDF 职称材料

面向Flink流处理框架的主动备份容错优化 被引量：4

8

作者 刘广轩 黄山 +1 位作者 胡佳丽 段晓东 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2022年第2期297-305,共9页

针对Flink任务出现故障后因为全局卷回使流处理作业恢复效率低的问题,提出基于缓存队列的容错策略.在作业中找出恢复时间最长的算子作为关键算子,将其处理过的数据存储到缓存队列中,并为其进行主动备份,备份算子同时接受来自上游的数据... 针对Flink任务出现故障后因为全局卷回使流处理作业恢复效率低的问题,提出基于缓存队列的容错策略.在作业中找出恢复时间最长的算子作为关键算子,将其处理过的数据存储到缓存队列中,并为其进行主动备份,备份算子同时接受来自上游的数据以达到在故障后作业可以瞬时恢复的效果.为了解决主动备份带来的额外消耗,提出数据过滤算法,备份算子在每次处理数据前会到缓存组件中检索当前数据,以判断是否继续处理.当Flink算子自身出现故障后,利用策略中的缓存队列与Flink的JobManager将故障发生时的数据信息发送给备份算子,在备份算子接收到数据后,实现即时恢复的效果.利用4项评价指标对策略进行评估,结果表明,与Flink1.8的故障恢复模式相比,所提策略在Flink任务故障恢复速度上有显著提升,当故障次数分别为1、2、3、4时,恢复效率分别提高56.3%、51.3%、46.2%和45.8%;而在处理时延、CPU利用率以及内存使用率方面仅产生极小的代价. 展开更多

关键词 Apache Flink 流处理容错 主动备份 故障恢复 缓存队列

在线阅读 下载PDF 职称材料

面向云环境的Flink负载均衡策略 被引量：4

9

作者 徐浩桐 黄山 +2 位作者 孙国璋 贺菲莉 段晓东 《计算机工程与科学》 CSCD 北大核心 2022年第5期779-787,共9页

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Fl... 作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。 展开更多

关键词 Flink 容器 通信开销 负载均衡 迁移

在线阅读 下载PDF 职称材料

面向容器环境的Flink的任务调度优化研究 被引量：3

10

作者 黄山 房六一 +1 位作者 徐浩桐 段晓东 《计算机工程与科学》 CSCD 北大核心 2021年第7期1173-1184,共12页

随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导... 随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导致负载分配不均衡。针对这一问题,提出一种面向容器环境的Flink任务调度算法FSACE,获取每个结点性能信息与容器在结点上的分布信息,优先选择空闲资源较多的结点的容器,同时可以避免容器被频繁选中造成负载不均。使用云主机与合成数据集对算法进行评测,评测结果表明,在容器环境下部署时,所提出的算法能更均衡地分配任务,可以提高资源使用率和计算速度。 展开更多

关键词 容器 大数据 Flink 任务调度 负载均衡 容器环境

在线阅读 下载PDF 职称材料

基于Flink的k-支配skyline体并行求解算法 被引量：3

11

作者 孙国璋 黄山 +2 位作者 艾力卡木·再比布拉 徐浩桐 段晓东 《计算机工程与科学》 CSCD 北大核心 2023年第1期17-27,共11页

k-支配skyline算法弱化了数据点之间的支配关系,更适合高维数据。k-支配skyline体适应于多名用户使用k-支配skyline算法查询,而现有的求解算法在时间效率和代码扩展性方面都有待提高。因此,提出了面向多用户的k-支配skyline体求解优化算... k-支配skyline算法弱化了数据点之间的支配关系,更适合高维数据。k-支配skyline体适应于多名用户使用k-支配skyline算法查询,而现有的求解算法在时间效率和代码扩展性方面都有待提高。因此,提出了面向多用户的k-支配skyline体求解优化算法MKSSOA,该算法对每名用户的候选集和中间集分别进行存储,同时在k-支配检查过程中利用2集合中数据点出现的先后次序将候选集中的非k-支配skyline点存储到对应用户的中间集中,以便下一名用户筛选使用,这样可以减少数据点之间的比较次数,避免重复计算,从而提升查询效率。同时,提出了面向多用户的k-支配skyline体并行求解算法MKSPSA,通过Apache Flink并行处理框架有效减少了数据点的比较时间。理论研究和实验结果显示,提出的算法具有较高的效率,能很好地处理多用户k-支配skyline问题。 展开更多

关键词 k-支配 SKYLINE查询 多用户 Apache Flink 并行查询

在线阅读 下载PDF 职称材料

Flink水位线动态调整策略 被引量：1

12

作者 吕鹤轩 黄山 +2 位作者 艾力卡木·再比布拉 吴思衡 段晓东 《计算机工程与科学》 CSCD 北大核心 2023年第2期237-245,共9页

衡量大数据的数据挖掘性能有2个最重要的任务指标:一是实时性,二是准确性。流数据从数据产生到消息队列再通过数据源流入Flink进行计算,这个过程中因为网络传输速度不同,不同节点的计算性能不同等原因,流数据进入计算框架的先后顺序和... 衡量大数据的数据挖掘性能有2个最重要的任务指标:一是实时性,二是准确性。流数据从数据产生到消息队列再通过数据源流入Flink进行计算,这个过程中因为网络传输速度不同,不同节点的计算性能不同等原因,流数据进入计算框架的先后顺序和数据产生的事件时间顺序会有局部乱序的现象。面对窗口作业的传统水位线机制在不确定乱序程度的流数据情况下无法同时兼顾作业结果的实时性和准确性。针对这个问题,建立了流数据微簇模型。通过局部乱序度算法,根据流数据微簇的流数据事件时间局部乱序程度计算出可以代表当前时刻流数据的乱序度。设计了水位线动态调整策略,使水位线根据流数据的乱序程度动态调整大小。最后,在Apache Flink框架中对基于事件时间窗口的水位线动态调整策略进行了实现。实验结果表明,弹性或不确定乱序流数据条件下,基于事件时间窗口的水位线动态调整策略可以有效地同时兼顾窗口作业的准确性和实时性。 展开更多

关键词 Apache Flink 水位线 乱序流数据 事件时间

在线阅读 下载PDF 职称材料