基于有状态实时流的流批一体数据处理平台的设计与研究 被引量：1

1

作者 周维 曹扬 +1 位作者 谢红韬 胡建 《现代信息科技》 2024年第6期29-34,共6页

当今,数据的规模和复杂性不断增加,对数据处理平台的要求也越来越高。传统的批处理和实时处理技术各有优缺点,很难满足大规模数据处理的需求。因此,流批一体化的数据处理平台应运而生。文章在讨论流批一体核心架构设计的基础上,提出一... 当今,数据的规模和复杂性不断增加,对数据处理平台的要求也越来越高。传统的批处理和实时处理技术各有优缺点,很难满足大规模数据处理的需求。因此,流批一体化的数据处理平台应运而生。文章在讨论流批一体核心架构设计的基础上,提出一种基于有状态实时流的流批一体数据处理方法,并通过平台化的方式实现流批一体数据的处理与计算。该平台先后在四川高速集团、贵阳政府单位示范应用,应用结果表明平台不仅统一了批处理和流处理框架,而且具有高效、可靠、可扩展等优点,同时能够满足大规模数据处理的需求。该平台的实现对于提高数据处理效率和准确性具有重要意义。 展开更多

关键词 批处理 有状态实时流 平台化 流批一体

在线阅读 下载PDF 职称材料

基于多源时空数据的人群移动可信数据平台设计

2

作者 龚昱鸣 汪洋舟 +2 位作者 严增勇 谢红韬 欧剑凯 《现代信息科技》 2025年第7期192-198,共7页

为解决因城市人口的迅速增长而导致的城市交通拥堵、人口分布不均匀、基础设施规划不合理等问题,文章以多源时空数据作为研究对象,构建基于多源时空数据的可信数据治理平台。该平台通过对多源时空数据进行处理,并从不同的时间维度来分... 为解决因城市人口的迅速增长而导致的城市交通拥堵、人口分布不均匀、基础设施规划不合理等问题,文章以多源时空数据作为研究对象,构建基于多源时空数据的可信数据治理平台。该平台通过对多源时空数据进行处理,并从不同的时间维度来分析城市人群的分布与聚集情况。同时,为了保证数据空间的可信度,平台集成了区块链技术,将业务数据和分析结果同步上链,并实现平台数据和链上数据同步更新。结果表明:该平台不仅继承了数据仓库的高性能,还解决了单数据源的片面性问题,同时为数据治理平台增加了可信度,为城市的交通规划和设施建设提供了新的思路。 展开更多

关键词 多数据源 可信数据空间 区块链 时空数据

在线阅读 下载PDF 职称材料

基于技术中台的门户系统设计与研究

3

作者 严增勇 曹扬 谢红韬 《现代信息科技》 2025年第8期93-99,105,共8页

文章致力于设计开发一种基于技术中台的门户系统,旨在通过集中化的服务与标准化的流程,攻克传统软件开发模式下协同工作与效率方面的难题,以应对软件开发项目规模日益扩大所带来的复杂性挑战,进而提升业务灵活性、避免重复开发,并加快... 文章致力于设计开发一种基于技术中台的门户系统,旨在通过集中化的服务与标准化的流程,攻克传统软件开发模式下协同工作与效率方面的难题,以应对软件开发项目规模日益扩大所带来的复杂性挑战,进而提升业务灵活性、避免重复开发,并加快产品上市速度。该门户系统不仅是一个共享服务和能力的集中平台,还为企业的多个业务线提供了完整的工具和框架,以支持其高效协同工作。系统具备服务共享管理、平台运行监控以及快速开发网页站点三大能力。案例分析表明,该系统显著提升了研发协同效率,降低了错误率,缩短了产品上市时间,同时为企业的数字化转型提供了坚实的技术支撑。 展开更多

关键词 技术中台 API服务 运行监控

在线阅读 下载PDF 职称材料

基于区块链的政务数据授权流通应用研究 被引量：4

4

作者 郭宏杰 杨辉 +4 位作者 魏连 谭子兮 严硕 曹扬 洒科进 《信息安全研究》 2021年第11期1090-1096,共7页

数据要素的流通已成为发展数字经济的重要手段,但实现数据有序流通仍存在诸多困难与挑战.以人才就业服务场景为例,从数据流通的角度分析了该业务中各方的痛点与需求,探讨了基于区块链技术,在保护个人信息安全与各方数据权益的前提下,通... 数据要素的流通已成为发展数字经济的重要手段,但实现数据有序流通仍存在诸多困难与挑战.以人才就业服务场景为例,从数据流通的角度分析了该业务中各方的痛点与需求,探讨了基于区块链技术,在保护个人信息安全与各方数据权益的前提下,通过数据相关方的有效授权,将数据从提供者传递到使用者,满足社会机构对政务数据的合理需求,提升政府执政能力,优化数据便民服务,助力数据生产要素市场良性发展. 展开更多

关键词 数据流通 区块链 数据保全与存证 用户授权 个人信息保护

在线阅读 下载PDF 职称材料

数据治理标准体系及标准化实施框架研究 被引量：6

5

作者 王华 曹扬 +1 位作者 张婧慧 丁洪鑫 《中国标准化》 2023年第16期38-44,57,共8页

本文通过收集国际、国内标准化文件中对数据治理的定义,探讨了数据治理的概念,并研究了国际、国内数据治理标准化现状,构建出了数据治理标准体系框架,基于PDCA循环的过程方法,设计了数据治理标准化实施框架。本研究对于我国数据治理标... 本文通过收集国际、国内标准化文件中对数据治理的定义,探讨了数据治理的概念,并研究了国际、国内数据治理标准化现状,构建出了数据治理标准体系框架,基于PDCA循环的过程方法,设计了数据治理标准化实施框架。本研究对于我国数据治理标准化具有一定的理论价值和实践意义,为各种类型组织的数据治理标准化实施提供了基础指导和共性参考,有助于完善数据治理标准体系、推动数据治理相关标准落地实施。 展开更多

关键词 数据治理 标准体系 标准化实施框架

在线阅读 下载PDF 职称材料

全国一体化大数据中心标准体系研究 被引量：1

6

作者 王华 曹扬 +1 位作者 韩国权 黄海峰 《中国标准化》 2023年第S1期108-115,共8页

本文通过梳理全国一体化大数据中心体系概念、政策规划、顶层设计及标准化现状,探索构建全国一体化大数据中心标准体系框架,并针对“数网”“数纽”“数链”“数脑”和“数盾”建设提出国家标准研制建议。本研究对于支撑和引领全国一体... 本文通过梳理全国一体化大数据中心体系概念、政策规划、顶层设计及标准化现状,探索构建全国一体化大数据中心标准体系框架,并针对“数网”“数纽”“数链”“数脑”和“数盾”建设提出国家标准研制建议。本研究对于支撑和引领全国一体化大数据中心协同创新体系建设具有一定的理论价值和实践意义,有助于推动全国一体化大数据中心标准体系的建设和完善。 展开更多

关键词 全国一体化大数据中心 标准体系 数网 数纽 数链 数脑 数盾

在线阅读 下载PDF 职称材料

我国健康医疗大数据相关标准及体系建设分析 被引量：1

7

作者 王维霞 高山 +2 位作者 王华 文友 马环宇 《信息技术与标准化》 2024年第6期70-73,82,共5页

为分析我国健康医疗大数据相关现行标准及体系建设情况,完善健康医疗大数据标准体系和相关标准政策制定的数据基础,从全国标准信息公共服务平台收集健康医疗大数据国家标准、行业标准、地方标准和团体标准数据进行分析研究,发现我国健... 为分析我国健康医疗大数据相关现行标准及体系建设情况,完善健康医疗大数据标准体系和相关标准政策制定的数据基础,从全国标准信息公共服务平台收集健康医疗大数据国家标准、行业标准、地方标准和团体标准数据进行分析研究,发现我国健康医疗大数据相关现行标准仍存在标龄过长、标准不均衡、标准体系不完善等问题,建议制定标准时考虑其灵活性和适应性、建立标准更新和修订的常态机制,并加强应用与服务类行业标准、地方标准的研制。 展开更多

关键词 健康医疗 大数据 标准体系

在线阅读 下载PDF 职称材料

基于激光技术的智能化选煤系统研究与应用

8

作者 郝全生 张树森 +3 位作者 赵欣 高山 苑建坤 雷参愉 《中国煤炭》 北大核心 2024年第9期68-72,共5页

为了解决中煤华晋集团有限公司王家岭选煤厂(以下简称“王家岭选煤厂”)现有选煤过程效率低、煤炭资源浪费等问题,结合王家岭选煤厂实际生产现状,研究了一种基于激光选煤法的智能化选煤技术。通过激光检测装置分析计算原煤入料灰度值,... 为了解决中煤华晋集团有限公司王家岭选煤厂(以下简称“王家岭选煤厂”)现有选煤过程效率低、煤炭资源浪费等问题,结合王家岭选煤厂实际生产现状,研究了一种基于激光选煤法的智能化选煤技术。通过激光检测装置分析计算原煤入料灰度值,将精煤与矸石进行精确识别,由PLC系统控制气压分离装置实现物理分离,对煤矸石进行智能循环分选。通过在王家岭选煤厂进行30 d的工程试验表明,与传统选煤技术相比,应用智能选煤技术不仅选煤效率提高了18.3%,而且节约了20.38%的煤炭资源,同时减少了人工投入21人次,综合考虑建厂成本直接创造84元/t的净利润,取得了良好的社会效益和经济效益。 展开更多

关键词 智能算法 智能选煤 选煤系统 智能循环分选

在线阅读 下载PDF 职称材料

无人机运动轨迹跟踪系统的设计研究

9

作者 李丁丁 《电子产品世界》 2024年第9期21-24,共4页

无人机外形小巧、性能卓越,具有一定的军用与民用价值。设计了一种基于北斗通信技术的轨迹跟踪和控制系统,通过分析无人机内部结构组成,并且将其与行进姿态数据进行融合,以构建无人机运动轨迹跟踪系统的动态模型。实验结果表明,该系统... 无人机外形小巧、性能卓越,具有一定的军用与民用价值。设计了一种基于北斗通信技术的轨迹跟踪和控制系统,通过分析无人机内部结构组成,并且将其与行进姿态数据进行融合,以构建无人机运动轨迹跟踪系统的动态模型。实验结果表明,该系统的运动轨迹与无人机实际运动轨迹几乎相同,满足了无人机精确飞行轨迹跟踪的要求。 展开更多

关键词 无人机 轨迹跟踪系统 北斗通信

在线阅读 下载PDF 职称材料

基于可视化地图的产业链图谱系统设计与研究

10

作者 严增勇 曹扬 +1 位作者 谢红韬 胡建 《现代信息科技》 2024年第14期81-84,89,共5页

设计并研究一种基于可视化地图的产业链知识图谱系统,以满足当今商业环境对产业链结构和动态展示的需求。系统采用数据治理层、三大功能模块和技术架构设计,结合Echarts和D3.js库实现地图与知识图谱的融合展示。数据源包括企业信息、行... 设计并研究一种基于可视化地图的产业链知识图谱系统,以满足当今商业环境对产业链结构和动态展示的需求。系统采用数据治理层、三大功能模块和技术架构设计,结合Echarts和D3.js库实现地图与知识图谱的融合展示。数据源包括企业信息、行业资讯、政府公开数据等,通过任务调度、数据治理、图数据库注入实现数据处理。产业链图谱系统以实体管理、关系管理、产业链管理为核心功能,支持用户灵活管理和探索产业链关系。技术架构采用分布式存储、微服务框架,保障系统性能和可扩展性。整个系统的设计旨在为企业、决策者和研究人员提供直观、高效的产业链分析工具,助力精准决策。 展开更多

关键词 数字化转型 知识图谱 可视化地图

在线阅读 下载PDF 职称材料

领域知识图谱构建管理系统设计与研究

11

作者 胡建 曹扬 +1 位作者 谢红韬 严增勇 《现代信息科技》 2024年第9期144-148,共5页

为了帮助企业或组织更好地进行知识管理和数字化转型,提高知识管理的效率和可靠性,促进知识的共享和创新,设计一套领域知识图谱构建管理系统,只要企业或组织的知识有所更新或新增,该系统就会无感知地将更新或新增的知识构建到知识图谱中... 为了帮助企业或组织更好地进行知识管理和数字化转型,提高知识管理的效率和可靠性,促进知识的共享和创新,设计一套领域知识图谱构建管理系统,只要企业或组织的知识有所更新或新增,该系统就会无感知地将更新或新增的知识构建到知识图谱中,无须用户重复进行构建操作,保证了知识图谱的实时性。该系统已为多家咨询公司提供服务,结果表明系统不仅统一了数据录入、传输、存储的标准,还减少了数据遗漏情况的发生,提高了构建领域知识图谱的效率。 展开更多

关键词 数字化转型 知识图谱 持续构建

在线阅读 下载PDF 职称材料

基于深度学习的网页内容解析方法

12

作者 袁公萍 谢红韬 +1 位作者 舒珏淋 周维 《现代信息科技》 2025年第8期106-110,116,共6页

为了高效、准确地从网页中提取有价值的信息,文章提出了一种基于深度学习的网页内容解析方法。该方法旨在从复杂的超文本标记语言(HTML)中提取出正文信息。该方法将深度学习的特征提取能力、自然语言处理技术以及HTML文档中的布局信息... 为了高效、准确地从网页中提取有价值的信息,文章提出了一种基于深度学习的网页内容解析方法。该方法旨在从复杂的超文本标记语言(HTML)中提取出正文信息。该方法将深度学习的特征提取能力、自然语言处理技术以及HTML文档中的布局信息相结合,构建了多层次神经网络模型,从而实现了对网页内容的识别。实验结果表明,与传统的基于文本密度的网页内容提取方法相比,该方法在准确率、自适应性和鲁棒性方面均表现出明显的优势。 展开更多

关键词 网页内容解析 深度学习 神经网络 自适应性

在线阅读 下载PDF 职称材料

农村家庭多维贫困脆弱性度量及其空间分布——基于CHNS数据的实证分析 被引量：1

13

作者 李响 齐文平 +2 位作者 谭畅 王艳慧 王白雪 《高技术通讯》 EI CAS 北大核心 2019年第11期1136-1147,共12页

贫困脆弱性评估作为新阶段扶贫开发的重要关注议题,也是全面建成小康社会过程中制定反贫困政策的重要依据。本文从综合考虑脆弱性风险和应对能力的视角出发,基于拓展的社会排斥-脆弱性-可持续生计3维贫困分析框架,构建顾及自然、社会和... 贫困脆弱性评估作为新阶段扶贫开发的重要关注议题,也是全面建成小康社会过程中制定反贫困政策的重要依据。本文从综合考虑脆弱性风险和应对能力的视角出发,基于拓展的社会排斥-脆弱性-可持续生计3维贫困分析框架,构建顾及自然、社会和生计资本的多维贫困脆弱性度量模型,并结合核密度估计法、空间自相关等GIS空间分析方法,对研究区贫困脆弱性及其影响因素的多尺度空间分布特征进行分析。基于CHNS数据的实证结果表明(1)脆弱性特征上,高脆弱性多集中于贫困家庭,家庭金融资本和物质资本维度对贫困脆弱性的贡献度最大,贫困脆弱程度最高的地区为云南、贵州、广西;山区县、少数民族聚集区农户的脆弱程度相对更高。(2)空间分布上,多维贫困脆弱性整体表现为西南高-东北低的“阶梯状”分布格局,研究区西南部多为高-高聚集区,分布集中,东部和东北部为低-低聚集区,分布离散;局部呈现聚集现象,出现多个分布密度核心。(3)政策干预方面,应进一步因地制宜地发展特色农业,大力开展基础教育,增加农户技能培训,完善农户社会保障,共同提高农户应对风险能力。 展开更多

关键词 农村家庭 多维贫困脆弱性度量 空间分析 贫困脆弱性分布 影响因素

在线阅读 下载PDF 职称材料

基于全景涉信大数据的智慧信用治理体系架构 被引量：4

14

作者 刘汪洋 谢真强 牟其林 《电信科学》 2018年第5期99-106,共8页

针对当前社会信用治理工作中存在的问题与不足,根据"诚信社会"的建设愿景与需求,提出基于全景涉信大数据的智慧信用治理系体系架构,并对其核心理论和关键技术进行了深入剖析,最后通过3个典型应用场景进一步阐释该体系架构在... 针对当前社会信用治理工作中存在的问题与不足,根据"诚信社会"的建设愿景与需求,提出基于全景涉信大数据的智慧信用治理系体系架构,并对其核心理论和关键技术进行了深入剖析,最后通过3个典型应用场景进一步阐释该体系架构在社会信用治理中的作用,对提升我国政府治理能力具有重要意义。 展开更多

关键词 涉信大数据 信用治理 体系架构

在线阅读 下载PDF 职称材料

基于虚拟对比控制组的交通拥堵费安全影响研究 被引量：1

15

作者 李科君 李豪杰 朱曼曼 《重庆交通大学学报（自然科学版）》 CAS CSCD 北大核心 2020年第9期17-24,共8页

以伦敦为研究案例,采用虚拟对比控制组的因果效应方法,估计伦敦中心区实施拥堵收费对交通事故伤亡人数的影响。通过对比伦敦实际发生的伤亡人数和虚拟对比控制组估计的伤亡人数,分析发现交通拥堵收费区的交通事故总伤亡人数减少了4.29%... 以伦敦为研究案例,采用虚拟对比控制组的因果效应方法,估计伦敦中心区实施拥堵收费对交通事故伤亡人数的影响。通过对比伦敦实际发生的伤亡人数和虚拟对比控制组估计的伤亡人数,分析发现交通拥堵收费区的交通事故总伤亡人数减少了4.29%,其中轻伤和重伤数量各自减少了5.05%和12.12%。采用安慰剂试验对模型进行验证,结果显示伦敦交通拥堵费的评估效应达到95%的置信水平。研究结果表明:在交通安全分析研究中,当没有合适的对比控制组的情况下,虚拟对比控制方法可作为一个有效的研究方法。 展开更多

关键词 交通运输工程 伦敦交通拥堵费 虚拟对比控制组 因果效应 交通政策 安慰剂试验

在线阅读 下载PDF 职称材料

物联网中多密钥同态加密的联邦学习隐私保护方法 被引量：1

16

作者 管桂林 支婷 +1 位作者 陶政坪 曹扬 《信息安全研究》 CSCD 北大核心 2024年第10期958-966,共9页

借助联邦学习,多个分布式物联网设备可在不泄露原始数据前提下通过传输模型更新共同训练全局模型.然而,联邦学习系统易受模型推理攻击的影响,导致系统鲁棒性和数据隐私性受损.针对现有联邦学习方案无法实现对共享梯度的机密性保护以及... 借助联邦学习,多个分布式物联网设备可在不泄露原始数据前提下通过传输模型更新共同训练全局模型.然而,联邦学习系统易受模型推理攻击的影响,导致系统鲁棒性和数据隐私性受损.针对现有联邦学习方案无法实现对共享梯度的机密性保护以及难以抵抗客户端和服务器发起的共谋攻击等问题,提出一种物联网中多密钥同态加密的联邦学习隐私保护方法.该方法利用多密钥同态加密实现了梯度更新机密性保护,首先通过采用代理重加密技术,将不同公钥下的密文转换为公共密钥下的加密数据,确保云服务器实现对梯度密文的解密.然后,物联网设备采用自身的公钥和随机秘密因子加密本地梯度数据,可抵抗恶意设备和服务器发起的合谋攻击.其次,设计了一种基于混合密码体制的身份认证方法,实现对联邦建模参与方身份的实时验证.此外,为了进一步降低客户端计算开销,将部分解密计算协同至可信服务器计算,用户只需少量的计算即可.通过对所提方案进行全面分析以评估其安全性和效率.结果表明,所提方案满足了预期的安全要求.实验仿真表明,该方案相较于现有方案,具有较低的计算开销,可实现更快且准确的模型训练. 展开更多

关键词 联邦学习 物联网 代理重加密 多密钥同态加密 隐私保护 抗合谋攻击

在线阅读 下载PDF 职称材料

人机结合的智能情报分析系统设计与实现

17

作者 丁洪鑫 汪榕 +3 位作者 周维 曹扬 支婷 董厚泽 《现代信息科技》 2024年第11期69-75,共7页

文章首先对情报分析方法与人工智能的融合方式进行辨析,然后以AI赋能、人在回路的情报分析过程作为主导设计思想对智能情报分析系统进行整体功能架构及数据架构设计,同时为了降低使用门槛,提升数据分析结果的可解释性和准确性,提出了大... 文章首先对情报分析方法与人工智能的融合方式进行辨析,然后以AI赋能、人在回路的情报分析过程作为主导设计思想对智能情报分析系统进行整体功能架构及数据架构设计,同时为了降低使用门槛,提升数据分析结果的可解释性和准确性,提出了大语言模型与知识图谱的组合架构,并开发了人机结合的智能情报分析系统。该平台具备便于集成机器学习算法的架构,采用面向非技术用户的自然语言交互接口,使依赖人类智能的情报分析方法与依赖人工智能的大数据分析方法有机结合,极大地增强了分析人员的数据融合分析能力。 展开更多

关键词 情报分析 数据融合分析 大语言模型 知识图谱 可视化分析工具

在线阅读 下载PDF 职称材料

基于改进矩阵分解和谱聚类的协同过滤算法

18

作者 舒珏淋 谢红韬 袁公萍 《现代信息科技》 2024年第9期73-76,共4页

针对协同过滤算法中存在的数据稀疏性、可扩展性及准确性问题,提出一种基于改进矩阵分解和谱聚类的协同过滤算法。该算法首先将通过抑制物品流行度和用户活跃度优化的相似度计算融入最小二乘法(ALS),以避免矩阵分解时因子信息的丢失;其... 针对协同过滤算法中存在的数据稀疏性、可扩展性及准确性问题,提出一种基于改进矩阵分解和谱聚类的协同过滤算法。该算法首先将通过抑制物品流行度和用户活跃度优化的相似度计算融入最小二乘法(ALS),以避免矩阵分解时因子信息的丢失;其次结合流形学习的谱聚类算法弥补ALS算法产生的大计算量问题,同时获得全局最优解以提高聚类所得目标用户最近邻居的准确率;最后利用Movielens数据集进行实验。实验结果表明,改进的算法可以有效降低协同过滤算法的平均绝对误差和均方根误差,提高准确率,拥有更优的性能。 展开更多

关键词 协同过滤算法 相似度 谱聚类 全局最优解

在线阅读 下载PDF 职称材料

政府信息化建设的技术支撑系统分析

19

作者 李涛 陈东贤 代杨 《通讯世界》 2024年第11期175-177,共3页

为提高政府信息化建设水平,针对相关技术支撑系统进行分析,从评价指标、建设程度、系统扩容3个角度出发,明确当前政府信息化建设中存在的问题,强调建立技术支撑系统的重要性。基于此,提出结合信息化发展态势、生成信息化技术架构,加强... 为提高政府信息化建设水平,针对相关技术支撑系统进行分析,从评价指标、建设程度、系统扩容3个角度出发,明确当前政府信息化建设中存在的问题,强调建立技术支撑系统的重要性。基于此,提出结合信息化发展态势、生成信息化技术架构,加强系统平台开发、合理使用中间件,使用客户端管理技术、组织成立政府人才团队3点策略,以期为今后的政府信息化建设活动提供参考。 展开更多

关键词 政府 信息化建设 技术支撑系统

在线阅读 下载PDF 职称材料

发展DAC技术,从“彩虹碳”中发现“白碳”

20

作者 范佳佳 陈钰什 代杨 《可持续发展经济导刊》 2023年第10期69-72,共4页

充分发挥“白碳移除”的潜力,助力碳中和目标的实现。推动低碳经济发展、积极应对气候变化是从国家、企业到个人承担的义务和责任,这一进程离不开我们对碳循环的深刻认识和对负碳技术的促进发展。本文从“彩虹碳”的角度剖析碳移除技术... 充分发挥“白碳移除”的潜力,助力碳中和目标的实现。推动低碳经济发展、积极应对气候变化是从国家、企业到个人承担的义务和责任,这一进程离不开我们对碳循环的深刻认识和对负碳技术的促进发展。本文从“彩虹碳”的角度剖析碳移除技术路径,并强调直接空气捕集二氧化碳(DAC)技术的重要性。 展开更多

关键词 技术路径 碳中和 二氧化碳 白碳 彩虹 应对气候变化 深刻认识 碳循环

在线阅读 下载PDF 职称材料