正向最大匹配分词FMM(Forward Maximum Matching)算法存在设定的最大词长初始值固定不变的问题,带来长词丢失或匹配次数较多的弊端。针对此问题提出了根据中文分词词典中的词条长度动态确定截取待处理文本长度的思想,改进了FMM算法。与...正向最大匹配分词FMM(Forward Maximum Matching)算法存在设定的最大词长初始值固定不变的问题,带来长词丢失或匹配次数较多的弊端。针对此问题提出了根据中文分词词典中的词条长度动态确定截取待处理文本长度的思想,改进了FMM算法。与此相配合,设计了一种词典结构,使之能够有效地支持改进的算法。改进的算法与一般正向最大匹配算法相比大大减少了匹配次数,分析表明中文分词的速度和效率有了很大提高。展开更多
继电保护在线定值比对需要将整定定值和运行定值对应的定值名称进行匹配,针对此过程中存在的匹配效率不高、准确度差等问题,提出一种基于混合专业词典的防误比对方法以实现智能化匹配。该方法首先改进整词二分词典结构,增加同义词标志...继电保护在线定值比对需要将整定定值和运行定值对应的定值名称进行匹配,针对此过程中存在的匹配效率不高、准确度差等问题,提出一种基于混合专业词典的防误比对方法以实现智能化匹配。该方法首先改进整词二分词典结构,增加同义词标志项和复合型字符标志项,同时将中文、英文和序号类字符均纳入字典,采用改进的正向最大匹配算法(forward maximum matching,FMM)提高分词准确度;其次,提出类型和首项的双重过滤机制以减小目标搜索空间的大小;然后针对继电保护定值名称的特殊性,采用不计词序的Jaccard相似度替代编辑距离计算的相似度,提高匹配准确度;最后通过定值项取值比较结果的反馈进行二次匹配,进一步提高匹配的准确度。算例分析验证所提方法能够有效提高比对的效率和精度。展开更多
文摘正向最大匹配分词FMM(Forward Maximum Matching)算法存在设定的最大词长初始值固定不变的问题,带来长词丢失或匹配次数较多的弊端。针对此问题提出了根据中文分词词典中的词条长度动态确定截取待处理文本长度的思想,改进了FMM算法。与此相配合,设计了一种词典结构,使之能够有效地支持改进的算法。改进的算法与一般正向最大匹配算法相比大大减少了匹配次数,分析表明中文分词的速度和效率有了很大提高。
文摘继电保护在线定值比对需要将整定定值和运行定值对应的定值名称进行匹配,针对此过程中存在的匹配效率不高、准确度差等问题,提出一种基于混合专业词典的防误比对方法以实现智能化匹配。该方法首先改进整词二分词典结构,增加同义词标志项和复合型字符标志项,同时将中文、英文和序号类字符均纳入字典,采用改进的正向最大匹配算法(forward maximum matching,FMM)提高分词准确度;其次,提出类型和首项的双重过滤机制以减小目标搜索空间的大小;然后针对继电保护定值名称的特殊性,采用不计词序的Jaccard相似度替代编辑距离计算的相似度,提高匹配准确度;最后通过定值项取值比较结果的反馈进行二次匹配,进一步提高匹配的准确度。算例分析验证所提方法能够有效提高比对的效率和精度。
