ASO-S卫星源包数据拼接与排序策略研究

1

作者 裴欣 佟继周 +2 位作者 马福利 于勤思 杨广建 《计算机工程》 北大核心 2025年第5期166-176,共11页

源包数据排序是科学卫星地面段数据处理的关键步骤。常用的排序方法将待排序的源包相关信息全部加载到内存,在处理大体量的下行数据时占用内存资源多、执行时间较长,在多次下行数据拼接时数据量会成倍数增长。此外,常用的排序方法对异... 源包数据排序是科学卫星地面段数据处理的关键步骤。常用的排序方法将待排序的源包相关信息全部加载到内存,在处理大体量的下行数据时占用内存资源多、执行时间较长,在多次下行数据拼接时数据量会成倍数增长。此外,常用的排序方法对异常数据的处理不够全面,可能导致部分源包排序错误,进而影响后续的数据分析。针对先进天基太阳天文台(ASO-S)提出了一种新的源包数据拼接与排序策略。该策略在单次下行数据的源包索引排序和多次下行数据的源包索引拼接与排序的处理过程中,对不同类型异常做出了相应的处理,并设计了索引信息片段切割再排序算法,减少多次下行数据拼接后源包重排序、去重计算的数据量。使用多组实验数据对该策略进行了验证与测试,实验结果表明,该策略在对时间码跳变等异常数据的处理上源包排序准确率达到100%,在对多次下行数据拼接处理时减少了内存资源的占用率,缩短了执行时间,能够有效提升源包排序的准确率和数据处理效率,为ASO-S卫星产出高质量科学数据产品奠定了良好基础。 展开更多

关键词 卫星数据预处理 多次下行数据拼接 源包排序 先进天基太阳天文台 单次下行

在线阅读 下载PDF 职称材料

EP卫星数据预处理与分发服务平台设计与实现

2

作者 马福利 纪珍 +4 位作者 杨晓艳 于勤思 李冰 罗文甜 佟继周 《空间科学学报》 北大核心 2025年第4期1098-1113,共16页

随着空间探测技术发展和星地通信手段的增加,为了能够第一时间对重要天文事件进行分析,空间天文卫星对下行探测数据的实时性和处理效率的要求日益严格.本文针对爱因斯坦探针(EP)卫星的数传X-band、遥测S-band、甚高频(VHF)数据和北斗短... 随着空间探测技术发展和星地通信手段的增加,为了能够第一时间对重要天文事件进行分析,空间天文卫星对下行探测数据的实时性和处理效率的要求日益严格.本文针对爱因斯坦探针(EP)卫星的数传X-band、遥测S-band、甚高频(VHF)数据和北斗短报文多种类型数据高时效性处理与分发需求,开展了EP卫星数据预处理与分析平台关键技术研究,设计了载荷0级数据处理、1级数据处理以及基于观测组织的数据完整性判读等关键算法;针对VHF数据和北斗短报文中天文警报信息的高时效性发布需求,设计了不同优先级的数据预处理和分发流程,最终采用分层架构设计的方法研制了EP卫星数据预处理与分发服务平台,具备对EP卫星下行的各类数据进行自动、高效和准确预处理、管理以及分发的能力.系统运行验证结果表明,该平台处理的各级各类科学数据具有较高的准确性,能够满足EP卫星数据预处理的时效性要求,且具有良好的可扩展性. 展开更多

关键词 北斗短报文 空间科学卫星 数据预处理 数据分发

在线阅读 下载PDF 职称材料

基于LSI的日地空间领域科学数据语义检索模型 被引量：4

3

作者 刘春蔚 邹自明 佟继周 《中国科学院大学学报（中英文）》 CSCD 北大核心 2016年第5期711-719,共9页

日地空间系统科学的数据具有体量大、种类多、结构复杂的特征,不同概念、不同事件之间的相互关联为该领域内的科学数据检索提出了很高的要求.然而目前该领域内依然以基于传统的关键词检索技术为主,严重影响检索结果的质量.提出一种数据... 日地空间系统科学的数据具有体量大、种类多、结构复杂的特征,不同概念、不同事件之间的相互关联为该领域内的科学数据检索提出了很高的要求.然而目前该领域内依然以基于传统的关键词检索技术为主,严重影响检索结果的质量.提出一种数据语义检索模型,它是在对日地空间学科元信息提取的基础上,使用文本处理的方法将提取信息转换为词项-文档矩阵,进一步使用潜在语义索引技术对其进行分析,计算出检索条目与不同数据集的语义相关度,从而根据语义相关度向用户推荐科学数据.实验对比表明,该模型的召回率明显优于传统方法,且具有很高的准确率.该模型同时支持对科学数据进行语义标注和关键词提取,亦可用于其他领域科学数据检索. 展开更多

关键词 日地空间 科学数据 语义检索 浅层语义索引 元数据

在线阅读 下载PDF 职称材料

空间环境科学数据安全分级概念框架研究 被引量：1

4

作者 许琦 胡晓彦 +1 位作者 邹自明 佟继周 《农业大数据学报》 2024年第2期259-268,共10页

建立多维度、全面覆盖空间环境数据资源特性的安全分级概念框架,形成领域数据安全分级规则,是落实国家数据安全法要求,开展细粒度的领域数据安全分级管理工作的必要前提。空间环境科学数据资源具有多来源、多类型、多时空分辨率、多模... 建立多维度、全面覆盖空间环境数据资源特性的安全分级概念框架,形成领域数据安全分级规则,是落实国家数据安全法要求,开展细粒度的领域数据安全分级管理工作的必要前提。空间环境科学数据资源具有多来源、多类型、多时空分辨率、多模态等特点,国家空间科学数据中心为满足流通共享、学科应用与安全管理等多方面的需求,通过个案研究法、定性分析法对其他行业领域数据安全分级标准的级别划分方法与不同级别数据资源特征进行梳理分析。研究形成基于领域和数据资源特点组和后逆向分析数据遭到破坏后对不同影响对象的影响程度,并将影响程度映射到数据安全分级规则后确定安全级别的逻辑主线,构建了能够适用于各类空间环境科学数据的安全分级概念框架。空间环境科学数据安全分级概念框架提出了领域数据分类基础上识别数据特征识别的方法,给出了依据保密性、完整性、可获取性和真实性的安全影响评估的方法和数据安全分级规则参考框架,为空间环境领域数据安全分级管理的落地实施提供依据,为领域重要数据目录的形成提供支撑。 展开更多

关键词 数据安全 数据分类分级 空间环境科学数据安全分级

在线阅读 下载PDF 职称材料

太阳耀斑预报深度学习建模中样本不均衡研究

5

作者 周俊 佟继周 +1 位作者 李云龙 方少峰 《空间科学学报》 CAS CSCD 北大核心 2024年第2期241-250,共10页

不同等级耀斑发生的频次存在数量级上的差别,使基于常规卷积神经网络的耀斑预报模型通常难以捕捉M和X类耀斑先兆特征,导致高等级耀斑预报精度低的问题.本文对于这种耀斑预报中的长尾分布问题,通过控制变量法讨论不同深度长尾学习方法对... 不同等级耀斑发生的频次存在数量级上的差别,使基于常规卷积神经网络的耀斑预报模型通常难以捕捉M和X类耀斑先兆特征,导致高等级耀斑预报精度低的问题.本文对于这种耀斑预报中的长尾分布问题,通过控制变量法讨论不同深度长尾学习方法对于耀斑预报精度提升.尝试从训练集优化、损失函数优化、网络权重优化等角度改进模型对于M和X类耀斑的预报性能.在SDO/HMI太阳磁图预报未来24 h耀斑的实验中,相比于常规方法训练的基准模型,改进模型在M和X类耀斑预报的精确率分别有了53.10%和38.50%的提升,同时在召回率上有64%和52%的提升.表明在耀斑预报问题中,数据长尾分布的处理至关重要,验证了深度长尾学习方法的有效性.这种提升尾部类预报精确率的方法不仅可以应用于耀斑预报领域,还可以迁移到其他具有长尾分布现象的空间天气典型事件的预报分析中. 展开更多

关键词 耀斑预报 长尾分布 残差神经网络

在线阅读 下载PDF 职称材料

基于流式计算的空间科学卫星数据实时处理 被引量：14

6

作者 孙小涓 石涛 +3 位作者 胡玉新 佟继周 李冰 宋峣 《计算机应用》 CSCD 北大核心 2019年第6期1563-1568,共6页

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基... 针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。 展开更多

关键词 流式计算 数据流 STORM 空间科学卫星 数据处理

在线阅读 下载PDF 职称材料

空间科学卫星数据处理框架研究与系统实现 被引量：4

7

作者 马文臻 邹自明 +3 位作者 黎建辉 于勤思 佟继周 李菁菁 《系统仿真学报》 CAS CSCD 北大核心 2022年第7期1605-1618,共14页

基于我国空间科学战略发展需求,针对我国空间科学先导专项当前在役与未来即将开展的众多卫星任务,对卫星地面段的数据处理框架及关键技术进行研究,提出了一种通用的具有任务级与资源级双层调度引擎的空间科学卫星数据处理技术框架(space... 基于我国空间科学战略发展需求,针对我国空间科学先导专项当前在役与未来即将开展的众多卫星任务,对卫星地面段的数据处理框架及关键技术进行研究,提出了一种通用的具有任务级与资源级双层调度引擎的空间科学卫星数据处理技术框架(space science satellite data processing framework,SDPF),设计实现了自动、高效、实时、标准化的空间科学卫星数据处理系统,使得多卫星任务、多载荷数据源的大规模数据的高度复杂的处理过程得以快速并行完成,在数据处理能力、计算资源规划、应对故障的可靠性、灵活性和可拓展性等方面体现出非常好的应用效果,也可为其他领域相关系统的设计提供参考思路。 展开更多

关键词 空间科学卫星 数据处理框架 任务调度 资源调度 数据处理工作流

在线阅读 下载PDF 职称材料

基于深度残差网络的星系形态分类 被引量：8

8

作者 戴加明 佟继周 《天文学进展》 CSCD 北大核心 2018年第4期384-397,共14页

星系形态与星系的形成和演化有着密切的联系,因此星系形态分类(galaxy morphology classification)成为研究不同星系物理特征的重要过程之一。斯隆数字巡天(Sloan Digital Sky Survey, SDSS)等大型巡天计划产生的海量星系图像数据对星... 星系形态与星系的形成和演化有着密切的联系,因此星系形态分类(galaxy morphology classification)成为研究不同星系物理特征的重要过程之一。斯隆数字巡天(Sloan Digital Sky Survey, SDSS)等大型巡天计划产生的海量星系图像数据对星系形态的准确、实时分类提出了新的挑战,而深度学习(deep learning)算法能有效应对这类海量星系图片的自动分类考验。面向星系形态分类问题提出了一种改进的深度残差网络(residual network, ResNet),即ResNet-26模型。该模型对残差单元进行改进,减少了网络深度,并增加了网络宽度,实现了对星系形态特征的自动提取、识别和分类。实验结果表明,与Dieleman和ResNet-50等其他流行的卷积神经网络(convolution neural network, CNN)模型相比,ResNet-26模型具有更优的分类性能,可应用于未来大型巡天计划的大规模星系形态分类系统。 展开更多

关键词 星系 形态分类 卷积神经网络 残差网络

在线阅读 下载PDF 职称材料

基于U-net的紫外极光观测极光卵形态提取 被引量：1

9

作者 王梓涵 佟继周 +2 位作者 邹自明 钟佳 白曦 《空间科学学报》 CAS CSCD 北大核心 2021年第4期667-675,共9页

极光卵形态提取是极光研究的重要手段.如何提高强干扰背景下的紫外极光图像极光卵形态提取精度,目前仍是一个难题.本文提出一种基于深度学习语义分割模型U-net的方法,实现了对极光卵形态的高精度提取.在Polar卫星紫外极光观测数据的实... 极光卵形态提取是极光研究的重要手段.如何提高强干扰背景下的紫外极光图像极光卵形态提取精度,目前仍是一个难题.本文提出一种基于深度学习语义分割模型U-net的方法,实现了对极光卵形态的高精度提取.在Polar卫星紫外极光观测数据的实验结果表明,该方法相比于已有算法精度更高,对完整型极光卵和缺口型极光卵图像均能得到更加精确的提取结果,特别是针对强日辉干扰、灰度不均匀和对比度低情况下的紫外极光图像时,该方法显示了明显优势. 展开更多

关键词 紫外极光观测 极光卵形态提取 U-net模型

在线阅读 下载PDF 职称材料

基于贝叶斯证据的全球地磁场模型主磁场阶数分析

10

作者 马森 马嘉卉 +1 位作者 佟继周 李云龙 《空间科学学报》 CAS CSCD 北大核心 2023年第4期600-608,共9页

全球主磁场模型描述了主磁场的时空分布特征。模型的主磁场阶数是构建主磁场模型的关键问题之一。使用贝叶斯推理分析全球主磁场模型,依据贝叶斯证据比较模型阶数,为主磁场的阶数分析提供一种统计依据。利用Swarm卫星磁测数据,估计不同... 全球主磁场模型描述了主磁场的时空分布特征。模型的主磁场阶数是构建主磁场模型的关键问题之一。使用贝叶斯推理分析全球主磁场模型,依据贝叶斯证据比较模型阶数,为主磁场的阶数分析提供一种统计依据。利用Swarm卫星磁测数据,估计不同阶数的主磁场模型的证据。结果表明,在1~20的模型阶数中,阶数N=12具有全局最佳证据。参照Jefrrey’s scale的阈值区间,数据对阶数N=12的偏好显著优于其他阶数。实验表明,主磁场阶数的证据推理可用于研究主磁场贡献,结果与14阶球谐函数的功率谱分析相匹配。 展开更多

关键词 地磁场 主磁场模型 贝叶斯证据 模型比较 地磁功率谱

在线阅读 下载PDF 职称材料

利用转移熵研究引起磁暴扰动的太阳风参数重要性排序

11

作者 于佳斌 佟继周 +1 位作者 方少峰 胡晓彦 《空间科学学报》 CAS CSCD 北大核心 2022年第3期346-356,共11页

磁暴是重要空间天气灾害性事件,能够影响卫星的安全在轨运行和地面电网系统等。目前,对于太阳风–磁层相互作用的研究多集中在分析相关系数的线性关系,而基于信息论的转移熵可以提供强大的无模型有向统计量,可用来分析传统相关性分析和... 磁暴是重要空间天气灾害性事件,能够影响卫星的安全在轨运行和地面电网系统等。目前,对于太阳风–磁层相互作用的研究多集中在分析相关系数的线性关系,而基于信息论的转移熵可以提供强大的无模型有向统计量,可用来分析传统相关性分析和模型假设检测不到的非线性关系。本文利用转移熵的方法,研究了磁暴期间的太阳风驱动参数。利用第23和24太阳活动周的小时精度数据进行长时间尺度分析,发现太阳风向地磁的信息传递呈双峰分布,表现出与太阳活动水平的一致性。利用2010-2018年93个地磁暴期间的分钟精度数据进行短时间尺度分析,结果表明:行星际电场(E)和行星际磁场南向分量(B_(z))对地磁指数Sym-H在时间延迟为60 min时信息传递较强,而太阳风速度v_(sw)、温度T_(sw)、数密度D_(sw)、磁场B和动压P_(sw)对Sym-H指数的信息传递较弱。上述研究结果能够为太阳风-磁层相互作用的建模提供参数选择及确定预测范围的依据。 展开更多

关键词 太阳风 地磁暴 转移熵

在线阅读 下载PDF 职称材料