摘要
针对Wu-Manber多模式匹配算法所存在的匹配效率低、跳转距离较小的问题,结合PDF文本内容的编码规则,提出了一种适用于中文PDF文本内容审查的Wu-Manber改进算法。该算法使用布隆过滤器提取模式串关键信息,同时结合双重哈希和PDF文本编码规则,减少了无谓的匹配次数,加大了跳转幅度,从而提升了PDF文本的匹配性能。实验结果表明,这种改进算法在PDF文本审查中的匹配速率有较大提升,尤其当最短模式串较长且模式串规模较大时速度可以提升一倍以上。
To solve the deficiency of Wu-Manber multi-pattern matching algorithm in terms of the achieved matching efficiency and jump distance,this paper proposed an improved Wu-Manber algorithm for Chinese PDF document content review on the basis of the coding formats of PDF document content. By employing the Bloom filter to extract the crucial information of the pattern string,and exploiting the double hash and PDF document encoding rules,the proposed improved algorithm was able to reduce the number of unnecessary matches and increase the jump distance,which results in improving the matching efficiency for the content retrieval of PDF document. The practical experimental results confirm the improved matching efficiency for PDF document,especially when the shortest mode string is long and the mode string size is large,the matching efficiency can be even doubled.
作者
刘邦国
陈庆春
类先富
Liu Bangguo;Chen Qingchun;Lei Xianfu(School of Information Science&Technology,Southwest Jiaotong University,Chengdu 611756,China)
出处
《计算机应用研究》
CSCD
北大核心
2020年第6期1755-1759,共5页
Application Research of Computers
基金
国家自然科学基金资助项目(61771406)。
作者简介
刘邦国(1993-),男,山西吕梁人,硕士研究生,主要研究方向为模式匹配、自然语言处理(bangguoliu@163.com);陈庆春(1973-),男,教授,博士,主要研究方向为信息编码;类先富(1981-),男,副教授,博士,主要研究方向为下一代通信技术.
