面向开源视频的深度学习情报分析系统设计与实现

1

作者 鄢靖昀 姜君 曹秀云 《现代电子技术》 北大核心 2025年第12期167-178,共12页

针对传统视频情报分析中信息提取效率低下的问题,设计一种基于深度学习的人机交互式视频情报分析系统,以满足快速提取大量视频关键情报的需求。系统框架围绕数据采集、存储、处理及应用进行分层设计,采用组件化设计实现功能模块的独立运... 针对传统视频情报分析中信息提取效率低下的问题,设计一种基于深度学习的人机交互式视频情报分析系统,以满足快速提取大量视频关键情报的需求。系统框架围绕数据采集、存储、处理及应用进行分层设计,采用组件化设计实现功能模块的独立运行,并集成基于深度学习的自动语音识别、神经机器翻译、光学字符识别以及大模型文本摘要生成等前沿技术,提供端到端的解决方案,实现全面的视频分析功能。功能测试结果显示,所有模块均能按设计要求正常运行。性能测试结果表明,系统在处理大规模视频数据的实时环境中表现稳定、性能优异,高并发情况下响应时间在3 s以内,支持最多2万并发用户。所设计系统不仅能高效提取视频情报,还拥有直观的用户交互界面,可以提供多样化的情报分析应用服务,并满足大规模用户在视频分析场景下的业务需求。 展开更多

关键词 情报分析 开源视频 深度学习 自动语音识别 神经机器翻译 光学字符识别

在线阅读 下载PDF 职称材料

唇读识别中的基本口型分类 被引量：3

2

作者 柴秀娟 姚鸿勋 +1 位作者 高文 王瑞 《计算机科学》 CSCD 北大核心 2002年第2期130-133,共4页

1引言自然人机交互方式使得人同计算机的交流不再局限于键盘、鼠标等外设.而是通过语言及手势、表情、唇动等形体语言来进行,从而使得人机交互变得像人与人之间的交流一样轻松自如.唇读通常被视为说话过程中伴随的辅助信息,它有助于对... 1引言自然人机交互方式使得人同计算机的交流不再局限于键盘、鼠标等外设.而是通过语言及手势、表情、唇动等形体语言来进行,从而使得人机交互变得像人与人之间的交流一样轻松自如.唇读通常被视为说话过程中伴随的辅助信息,它有助于对说话者提供信息的更准确理解.减弱噪音干扰. 展开更多

关键词 唇读识别 口型分类 语音识别 计算机

在线阅读 下载PDF 职称材料

语音识别中基于SFCM模糊聚类的矢量量化方法 被引量：4

3

作者 李晶皎 孙杰 姚天顺 《计算机研究与发展》 EI CSCD 北大核心 1999年第3期263-267,共5页

模糊聚类分析算法用隶属度确定样本所属类别，因其良好的效果而被广泛用于语音识别领域．文中提出了一种模糊聚类分析算法ＳＦＣＭ，并将其用于语音特征的矢量量化，最终形成码本尺寸为１２８的码本．用ＳＦＣＭ算法得到的码本分布合理... 模糊聚类分析算法用隶属度确定样本所属类别，因其良好的效果而被广泛用于语音识别领域．文中提出了一种模糊聚类分析算法ＳＦＣＭ，并将其用于语音特征的矢量量化，最终形成码本尺寸为１２８的码本．用ＳＦＣＭ算法得到的码本分布合理，没有空类．采用此码本的语音识别实验表明了这种量化方法对语音识别的有效性． 展开更多

关键词 模糊聚类分析 语音识别 矢量量化 SFCM

在线阅读 下载PDF 职称材料

煤岩显微组分组图像自动识别系统与关键技术 被引量：18

4

作者 宋孝忠 张群 《煤炭学报》 EI CAS CSCD 北大核心 2019年第10期3085-3097,共13页

煤化程度和显微组分组成决定着煤的物理化学性质和工艺性质。煤的镜质组反射率和显微组分的煤岩自动化测定,不仅可以减少传统人工测定产生的差异,而且速度快、效率高,使煤岩测定结果应用于煤炭分类、煤炭加工利用等领域成为可能。国内... 煤化程度和显微组分组成决定着煤的物理化学性质和工艺性质。煤的镜质组反射率和显微组分的煤岩自动化测定,不仅可以减少传统人工测定产生的差异,而且速度快、效率高,使煤岩测定结果应用于煤炭分类、煤炭加工利用等领域成为可能。国内外在煤岩自动化测定方面开展过大量研究工作,实现了镜质组反射率自动测定。但是由于煤岩显微组成和煤化程度影响的复杂性,显微组分的自动识别和图像分析测定仍然面临诸多难题。针对以上问题:①研制了煤岩显微图像自动采集硬件平台,具有显微镜自动聚焦、自动扫描和显微图像自动采集三大功能模块,建立了煤岩显微组分组图像自动识别工作流程;②开发了显微图像去噪预处理技术,可实现黏结剂与壳质组有效分割、受下方煤颗粒反射影响变亮黏结剂等的有效剔除,形成了基于Prewitt算子的煤岩显微组分假边界图像剔除技术;③开发出基于K均值聚类的煤岩显微组分组图像自动分割和识别技术;④形成了烟煤的煤岩显微组分组图像自动识别系统。应用本文研发的技术,对我国不同变质阶段烟煤的代表性煤样进行煤岩显微图像自动采集和显微组分组自动识别测定,并将测定结果与国内资深煤岩专家人工鉴定的标准结果进行比对。结果表明,两种方法测定的45个样品镜质组、惰质组、壳质组的极差平均值分别仅有2.3%,2.3%,1.5%;按照国家标准GB/T 18510—2001给出的准确度分析方法,获得3个显微组分组的统计量t c<t t。 展开更多

关键词 显微组分组 自动识别 图像分析 K均值聚类算法 软件系统

在线阅读 下载PDF 职称材料

基于改进的子类判决分析的SAR目标特征提取与识别 被引量：4

5

作者 胡利平 刘宏伟 吴顺君 《电子与信息学报》 EI CSCD 北大核心 2009年第9期2264-2268,共5页

针对大多文献中假设合成孔径雷达(SAR)数据服从单模分布带来的问题,该文提出改进的子类判决分析(ICDA),它假设SAR目标数据服从更合理更实际的多模分布。首先采用快速全局k-均值聚类算法找到每类目标的子类划分,然后基于子类判决分析(CDA... 针对大多文献中假设合成孔径雷达(SAR)数据服从单模分布带来的问题,该文提出改进的子类判决分析(ICDA),它假设SAR目标数据服从更合理更实际的多模分布。首先采用快速全局k-均值聚类算法找到每类目标的子类划分,然后基于子类判决分析(CDA)准则寻找最优的投影矢量,使得投影后不同类别的子类样本之间距离最大而每个子类内部的样本散布最小。用美国运动和静止目标获取与识别(MSTAR)计划录取的SAR地面静止目标数据的实验结果表明,ICDA可获得较好的对真实目标的分类性能和对干扰目标的拒判能力。 展开更多

关键词 合成孔径雷达 自动目标识别 子类判决分析 快速全局k-均值聚类算法

在线阅读 下载PDF 职称材料

一种基于语义分析的汉语语音识别纠错方法 被引量：2

6

作者 韦向峰 张全 熊亮 《计算机科学》 CSCD 北大核心 2006年第10期152-155,共4页

汉语语音识别的研究越来越重视与语言处理的结合,语音识别已经不是单纯的语音信号处理。N-gram语言模型应用到语音识别系统中,大大增强了系统的正确率和稳定性,但它也有其自身的局限性,使得语音识别出现许多语法和语义的错误结果。本文... 汉语语音识别的研究越来越重视与语言处理的结合,语音识别已经不是单纯的语音信号处理。N-gram语言模型应用到语音识别系统中,大大增强了系统的正确率和稳定性,但它也有其自身的局限性,使得语音识别出现许多语法和语义的错误结果。本文分析了语音识别产生语音和文字方面的错误的原因和类型,在概念层次网络语言模型的基础上提出了一种基于语句语义分析和混淆音矩阵的语音识别纠错方法。通过三个发音人、5万字的声音语料和216句实验语句的纠错测试,本文的纠错系统在纠正语义搭配型错误方面有比较好的表现,可克服N-gram语言模型带来的一些缺陷。本文提出的纠错方法还可以融合到语音识别系统中,以便更好地为语音识别的纠错处理服务。 展开更多

关键词 语音识别 纠错 语义分析 语言模型 概念层次网络

在线阅读 下载PDF 职称材料

SFCM模糊聚类在语音矢量量化中的应用 被引量：1

7

作者 李晶皎 孙杰 姚天顺 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 1998年第6期595-598,共4页

提出了一种模糊聚类分析算法ＳＦＣＭ，并将其用于语音特征的矢量量化，最终形成码本尺寸为２５６的码本．用ＳＦＣＭ算法得到的码本分布合理，没有空类．采用此码本的语音识别实验表明了这种量化方法对语音识别的有效性．

关键词 模糊聚类分析 语音识别 矢量量化 SFCM

在线阅读 下载PDF 职称材料

基于改进能量比值的普通话翘舌音与平舌音区分 被引量：1

8

作者 吴昊 鲁周迅 《计算机工程与设计》 CSCD 北大核心 2010年第15期3451-3454,共4页

针对普通话语音识别中翘舌音与平舌音的区分,主要研究了在基于子音音素语谱的能量比值作为新特征时,系统识别率的改善方法。在传统梅尔倒谱系数和对数能量的特征中,加入子音段高频部分与低频部分的能量比值作为新特征以提高识别的准确... 针对普通话语音识别中翘舌音与平舌音的区分,主要研究了在基于子音音素语谱的能量比值作为新特征时,系统识别率的改善方法。在传统梅尔倒谱系数和对数能量的特征中,加入子音段高频部分与低频部分的能量比值作为新特征以提高识别的准确性。以频带能量序列的差分为基础,提出一种基于距离聚类分析的最佳比例获取方法,使翘舌音与平舌音能量比值间的差异最大化。隐马尔可夫模型实验结果表明,该方法能直接获得最佳比例,有效地改善需通过反复训练测试才能获得最佳比例的不足。 展开更多

关键词 语音识别 翘舌音 能量比值 聚类分析 普通话

在线阅读 下载PDF 职称材料

潜在语义分析在连续语音识别中的应用

9

作者 欧建林 林茜 史晓东 《计算机工程与应用》 CSCD 北大核心 2009年第32期111-113,共3页

研究了潜在语义分析(LSA)理论及其在连续语音识别中应用的相关技术,在此基础上利用WSJ0文本语料库上构建LSA模型,并将其与3-gram模型进行插值组合,构建了包含语义信息的统计语言模型;同时为了进一步优化混合模型的性能,提出了基于密度... 研究了潜在语义分析(LSA)理论及其在连续语音识别中应用的相关技术,在此基础上利用WSJ0文本语料库上构建LSA模型,并将其与3-gram模型进行插值组合,构建了包含语义信息的统计语言模型;同时为了进一步优化混合模型的性能,提出了基于密度函数初始化质心的k-means聚类算法对LSA模型的向量空间进行聚类。WSJ0语料库上的连续语音识别实验结果表明:LSA+3-gram混合模型能够使识别的词错误率相比较于标准的3-gram下降13.3%。 展开更多

关键词 潜在语义分析 N元文法 K均值聚类 连续语音识别

在线阅读 下载PDF 职称材料

基于线性预测倒谱系数的地震相分析 被引量：12

10

作者 解滔 郑晓东 张? 《地球物理学报》 SCIE EI CAS CSCD 北大核心 2016年第11期4266-4277,共12页

本文借鉴语音识别技术中的线性预测倒谱系数(LPCC系数)特征参数提取方法对地震数据进行分解,这种方法的优点是:可以获得将子波和反射系数信息分离的地震语音特征参数,对地质现象边界具有较好的描述能力,使我们可以从不同维度更细致地观... 本文借鉴语音识别技术中的线性预测倒谱系数(LPCC系数)特征参数提取方法对地震数据进行分解,这种方法的优点是:可以获得将子波和反射系数信息分离的地震语音特征参数,对地质现象边界具有较好的描述能力,使我们可以从不同维度更细致地观察隐藏在地震数据中的地质特征.理论模型分析表明,基于LPCC系数的地震分析具有较高的地震相划分能力.实际地震资料应用表明,LPCC系数对储层特征的描述比常规三瞬属性更为细致,不同阶次LPCC系数在描述储层不同特征时也保持了内在的联系.采用K均值聚类方法对提取的12阶和24阶LPCC系数进行聚类分析,聚类结果与目的层段古地形较为吻合,较好地反映了研究区的断裂、礁滩相带、深水扇和储层的分布特征,说明在地震相分析中采用LPCC系数作为特征参数是可行和有效的. 展开更多

关键词 线性预测倒谱系数 地震相分析 储层预测 K均值聚类 语音识别

全文增补中

基于AIS数据的船舶运动模式识别与应用 被引量：28

11

作者 魏照坤 周康 +1 位作者 魏明 史国友 《上海海事大学学报》 北大核心 2016年第2期17-22,71,共7页

船舶运动模式的提取是轨迹数据分析的重要任务,它可以为船舶异常行为的检测提供参考依据,同时也可以作为航路规划和定线制设计的技术指标.针对现存的聚类算法大多为了追求效率而忽略了运动轨迹特征的问题,对聚类算法中的轨迹结构距离进... 船舶运动模式的提取是轨迹数据分析的重要任务,它可以为船舶异常行为的检测提供参考依据,同时也可以作为航路规划和定线制设计的技术指标.针对现存的聚类算法大多为了追求效率而忽略了运动轨迹特征的问题,对聚类算法中的轨迹结构距离进行改进,将其作为轨迹相似度的评价标准.采用无监督DBSCAN聚类算法实现船舶运动模式的提取.利用琼州海峡船舶自动识别系统(Automatic Identification System,AIS)数据,对该水域的船舶运动模式进行提取,获得行驶于该水域的船舶运动轨迹分布以及各类轨迹中转向区域的分布,其中船舶运动轨迹包括从琼州海峡东峡口向西航行的船舶轨迹,从琼州海峡西峡口向东航行的船舶轨迹,从秀英港前往海安港的船舶轨迹,从海安港前往秀英港的船舶轨迹和从琼州海峡东峡口前往海口港的船舶轨迹.将最终的聚类结果应用于电子海图显示与信息系统(Electronic Chart Display and Information System,ECDIS)上,实现了对船舶的动态监控仿真. 展开更多

关键词 船舶自动识别系统(AIS) 模式识别 聚类分析 电子海图显示与信息系统(ECDIS) 琼州海峡

在线阅读 下载PDF 职称材料

基于局部特征优化的语音情感识别 被引量：2

12

作者 隋小芸 朱廷劭 汪静莹 《中国科学院大学学报（中英文）》 CSCD 北大核心 2017年第4期431-438,共8页

情感识别在人机交互领域具有广阔前景。由于情感表达在时间上具有一定的持续性,统计特征更能体现不同情绪语音的差异和动态变化,大多数语音情感识别研究都使用全局特征(如最大值、最小值等),并没有充分挖掘局部特征(如单帧的短时能量、... 情感识别在人机交互领域具有广阔前景。由于情感表达在时间上具有一定的持续性,统计特征更能体现不同情绪语音的差异和动态变化,大多数语音情感识别研究都使用全局特征(如最大值、最小值等),并没有充分挖掘局部特征(如单帧的短时能量、过零率等)中的信息。提出一种基于局部特征优化的方法,对每个情感语音样本做进一步提纯,通过聚类分析对情感特征相对不显著的帧进行过滤,在此基础上进行统计计算和分类,以提高预测的准确率。实验结果表明,基于优化后的样本进行情感分类,3个语料库的平均准确率提高5%~17%。进一步的研究发现这种优化方法可能更适合于语音长度较长的情感识别场景。 展开更多

关键词 语音情感识别 局部特征 全局特征 聚类分析 数据优化

在线阅读 下载PDF 职称材料

基于语音识别的演讲教学系统 被引量：2

13

作者 戴瑾 巫丰 《计算机应用》 CSCD 北大核心 2020年第S01期289-292,共4页

针对用户演讲与口才表达能力提高的需求以及语音识别应用中用户口音、习惯用词等个性化因素所造成的识别困难和耗时长的问题,提出一种基于语音识别的演讲教学安卓App。该系统在提供教学视频的同时,利用语音识别技术为用户提供了演讲稿... 针对用户演讲与口才表达能力提高的需求以及语音识别应用中用户口音、习惯用词等个性化因素所造成的识别困难和耗时长的问题,提出一种基于语音识别的演讲教学安卓App。该系统在提供教学视频的同时,利用语音识别技术为用户提供了演讲稿的语音文字转换、储存以及数据分析,并为用户演讲能力的改进提供实时指导。系统利用词法分析筛选出用户常用词,采用热词优先识别算法,使识别结果贴近用户的想法和个人风格,进而提高语音识别的准确率和用户体验。测试结果表明系统的语音文字转化速率达到每分钟180字,语音识别准确率高于95%。所提系统能够有效提高演讲语音识别速度和准确率,提高用户的体验质量。 展开更多

关键词 自动语音识别 演讲表达 词法分析 语音文字转换 App

在线阅读 下载PDF 职称材料

孤立词语音识别系统的一种实用精简算法 被引量：1

14

作者 李挺 《江南大学学报（自然科学版）》 CAS 2003年第2期142-144,共3页

提出了一种以降低识别计算代价为目标的孤立词语音识别系统的设计算法.语音识别系统要求具有很强的实时性,同时应保证较好的识别率.该设计对语音信号采用了处理速度较快的时间轴和幅值上规正化的数据压缩算法,并采用加权离散度法进行识... 提出了一种以降低识别计算代价为目标的孤立词语音识别系统的设计算法.语音识别系统要求具有很强的实时性,同时应保证较好的识别率.该设计对语音信号采用了处理速度较快的时间轴和幅值上规正化的数据压缩算法,并采用加权离散度法进行识别,算法精确、简便、可靠,适合作为小型语音识别产品的主要算法. 展开更多

关键词 语音识别系统 孤立词 聚类分析 特征抽取 数据压缩 加权离散度法

在线阅读 下载PDF 职称材料