条件随机场(condition random fields,CRFs)可用于解决各种文本分析问题,如自然语言处理(natural language processing,NLP)中的序列标记、中文分词、命名实体识别、实体间关系抽取等.传统的运行在单节点上的条件随机场在处理大规模文本...条件随机场(condition random fields,CRFs)可用于解决各种文本分析问题,如自然语言处理(natural language processing,NLP)中的序列标记、中文分词、命名实体识别、实体间关系抽取等.传统的运行在单节点上的条件随机场在处理大规模文本时,面临一系列挑战.一方面,个人计算机遇到处理的瓶颈从而难以胜任;另一方面,服务器执行效率较低.而通过升级服务器的硬件配置来提高其计算能力的方法,在处理大规模的文本分析任务时,终究不能从根本上解决问题.为此,采用"分而治之"的思想,基于Apache Spark的大数据处理框架设计并实现了运行在集群环境下的分布式CRFs——SparkCRF.实验表明,SparkCRF在文本分析任务中,具有高效的计算能力和较好的扩展性,并且具有与传统的单节点CRF++相同水平的准确率.展开更多
和弦识别是音乐调式分析和自动标注的基础,同时在分析音乐的结构和旋律方面有着非常重要的作用。结合音乐理论和信号处理知识,提出一种基于MPCP(Mel Pitch Class Profile)特征和CRFs(Conditional Random Fields)模型的和弦识别方法。利...和弦识别是音乐调式分析和自动标注的基础,同时在分析音乐的结构和旋律方面有着非常重要的作用。结合音乐理论和信号处理知识,提出一种基于MPCP(Mel Pitch Class Profile)特征和CRFs(Conditional Random Fields)模型的和弦识别方法。利用短时傅里叶变换(STFT)对音乐信号进行时频变换,定义了一种新的MPCP特征,最后用CRFs对和弦进行识别。实验结果表明,提出的方法在识别率上优于其他方法,具有一定的潜力。展开更多
通过对越南语词法特点的研究,把越南语的基本特征融入到条件随机场中(Condition random fields,CRFs),提出了一种基于CRFs和歧义模型的越南语分词方法。通过机器标注、人工校对的方式获取了25 981条越南语分词语料作为CRFs的训练语料。...通过对越南语词法特点的研究,把越南语的基本特征融入到条件随机场中(Condition random fields,CRFs),提出了一种基于CRFs和歧义模型的越南语分词方法。通过机器标注、人工校对的方式获取了25 981条越南语分词语料作为CRFs的训练语料。越南语中交叉歧义广泛分布在句子中,为了克服交叉歧义的影响,通过词典的正向和逆向匹配算法从训练语料中抽取了5 377条歧义片段,并通过最大熵模型训练得到一个歧义模型,并融入到分词模型中。把训练语料均分为10份做交叉验证实验,分词准确率达到了96.55%。与已有越南语分词工具VnTokenizer比较,实验结果表明该方法提高了越南语分词的准确率、召回率和F值。展开更多
近年来,网络媒体微博的迅速发展,为命名实体的识别研究提供了一种全新的载体.针对中文微博文本短、表达不清、网络化严重等特点,论文提出了一种规则与统计相结合的中文微博命名实体识别方法.该方法首先利用中文微博的主题标签对处理后...近年来,网络媒体微博的迅速发展,为命名实体的识别研究提供了一种全新的载体.针对中文微博文本短、表达不清、网络化严重等特点,论文提出了一种规则与统计相结合的中文微博命名实体识别方法.该方法首先利用中文微博的主题标签对处理后的数据进行筛选,然后再选取合适的特征模板,并利用条件随机场模型(Conditional random fields,CRF)进行实体识别.为了满足实验要求,该文将传统网页爬虫方法与API接口采集方法相结合进行微博数据采集.实验结果表明,该方法能够有效提高中文微博命名实体的识别效果.展开更多
为解决文本类地铁应急处置流程存在的流程顺序关系不明确、流程执行人员模糊等问题,提出了基于BiLSTM-CRF(Bidirectional Long Short-Term Memory-Conditional Random Field)的地铁应急处置知识抽取与推理方法。首先,利用BiLSTM-CRF方...为解决文本类地铁应急处置流程存在的流程顺序关系不明确、流程执行人员模糊等问题,提出了基于BiLSTM-CRF(Bidirectional Long Short-Term Memory-Conditional Random Field)的地铁应急处置知识抽取与推理方法。首先,利用BiLSTM-CRF方法对地铁应急处置流程的文本资料进行命名实体识别,完成文本资料的知识抽取;其次,选用TransD模型对识别后实体数据进行知识推理,从而完成以实体和属性对为节点、关系对为边的知识图谱构建;最后,利用Neo4j图数据库对构建的地铁应急处置流程知识图谱进行了可视化展示和案例分析。研究结果表明,基于BiLSTM-CRF的知识抽取模型的精确率、召回率和F1值均达到了90%以上,且基于BiLSTM-CRF的TransD模型的推理结果准确率提升了22.92%,保证了知识图谱构建的准确性,可为地铁应急管理提供决策支持。展开更多
文摘条件随机场(condition random fields,CRFs)可用于解决各种文本分析问题,如自然语言处理(natural language processing,NLP)中的序列标记、中文分词、命名实体识别、实体间关系抽取等.传统的运行在单节点上的条件随机场在处理大规模文本时,面临一系列挑战.一方面,个人计算机遇到处理的瓶颈从而难以胜任;另一方面,服务器执行效率较低.而通过升级服务器的硬件配置来提高其计算能力的方法,在处理大规模的文本分析任务时,终究不能从根本上解决问题.为此,采用"分而治之"的思想,基于Apache Spark的大数据处理框架设计并实现了运行在集群环境下的分布式CRFs——SparkCRF.实验表明,SparkCRF在文本分析任务中,具有高效的计算能力和较好的扩展性,并且具有与传统的单节点CRF++相同水平的准确率.
文摘和弦识别是音乐调式分析和自动标注的基础,同时在分析音乐的结构和旋律方面有着非常重要的作用。结合音乐理论和信号处理知识,提出一种基于MPCP(Mel Pitch Class Profile)特征和CRFs(Conditional Random Fields)模型的和弦识别方法。利用短时傅里叶变换(STFT)对音乐信号进行时频变换,定义了一种新的MPCP特征,最后用CRFs对和弦进行识别。实验结果表明,提出的方法在识别率上优于其他方法,具有一定的潜力。
文摘通过对越南语词法特点的研究,把越南语的基本特征融入到条件随机场中(Condition random fields,CRFs),提出了一种基于CRFs和歧义模型的越南语分词方法。通过机器标注、人工校对的方式获取了25 981条越南语分词语料作为CRFs的训练语料。越南语中交叉歧义广泛分布在句子中,为了克服交叉歧义的影响,通过词典的正向和逆向匹配算法从训练语料中抽取了5 377条歧义片段,并通过最大熵模型训练得到一个歧义模型,并融入到分词模型中。把训练语料均分为10份做交叉验证实验,分词准确率达到了96.55%。与已有越南语分词工具VnTokenizer比较,实验结果表明该方法提高了越南语分词的准确率、召回率和F值。
文摘该研究致力于构建一个高质量的数据集,用于南美白对虾养殖领域的命名实体识别(named entity recognition,NER)任务,命名为VamNER。为确保数据集的多样性,从CNKI数据库中收集了近10年的高质量论文,并结合权威书籍进行语料构建。邀请专家讨论实体类型,并经过专业培训的标注人员使用IOB2标注格式进行标注,标注过程分为预标注和正式标注两个阶段以提高效率。在预标注阶段,标注者间一致性(inter-annotation agreement,IAA)达到0.87,表明标注人员的一致性较高。最终,VamNER包含6115个句子,总字符数达384602,涵盖10个实体类型,共有12814个实体。研究通过与多个通用领域数据集和一个特定领域数据集进行比较,揭示了VamNER的独特特性。在实验中使用了预训练的基于变换器的双向编码器表示(bidirectional encoder representations from Transformers,BERT)模型、双向长短期记忆神经网络(bidirectional long short-term memory network,BiLSTM)和条件随机场模型(conditional random fields,CRF),最优模型在测试集上的F1值达到82.8%。VamNER成为首个专注于南美白对虾养殖领域的NER数据集,为中文特定领域NER研究提供了丰富资源,有望推动水产养殖领域NER研究的发展。
文摘近年来,网络媒体微博的迅速发展,为命名实体的识别研究提供了一种全新的载体.针对中文微博文本短、表达不清、网络化严重等特点,论文提出了一种规则与统计相结合的中文微博命名实体识别方法.该方法首先利用中文微博的主题标签对处理后的数据进行筛选,然后再选取合适的特征模板,并利用条件随机场模型(Conditional random fields,CRF)进行实体识别.为了满足实验要求,该文将传统网页爬虫方法与API接口采集方法相结合进行微博数据采集.实验结果表明,该方法能够有效提高中文微博命名实体的识别效果.
文摘为解决文本类地铁应急处置流程存在的流程顺序关系不明确、流程执行人员模糊等问题,提出了基于BiLSTM-CRF(Bidirectional Long Short-Term Memory-Conditional Random Field)的地铁应急处置知识抽取与推理方法。首先,利用BiLSTM-CRF方法对地铁应急处置流程的文本资料进行命名实体识别,完成文本资料的知识抽取;其次,选用TransD模型对识别后实体数据进行知识推理,从而完成以实体和属性对为节点、关系对为边的知识图谱构建;最后,利用Neo4j图数据库对构建的地铁应急处置流程知识图谱进行了可视化展示和案例分析。研究结果表明,基于BiLSTM-CRF的知识抽取模型的精确率、召回率和F1值均达到了90%以上,且基于BiLSTM-CRF的TransD模型的推理结果准确率提升了22.92%,保证了知识图谱构建的准确性,可为地铁应急管理提供决策支持。
