基于集成学习和二维关联边条件随机场的Web数据语义标注方法 被引量：7

1

作者 丁艳辉 李庆忠 +1 位作者 董永权 彭朝晖 《计算机学报》 EI CSCD 北大核心 2010年第2期267-278,共12页

大规模Web信息抽取需要准确、自动地从众多相关网站上抽取Web数据对象.现有的Web信息抽取方法主要针对单个网站进行处理,无法适应大规模Web信息抽取的需要.调查研究表明,有效地实现Web数据语义自动标注,结合现有的包装器生成技术,可以... 大规模Web信息抽取需要准确、自动地从众多相关网站上抽取Web数据对象.现有的Web信息抽取方法主要针对单个网站进行处理,无法适应大规模Web信息抽取的需要.调查研究表明,有效地实现Web数据语义自动标注,结合现有的包装器生成技术,可以满足大规模Web信息抽取的要求.文中提出一种基于集成学习和二维关联边条件随机场的Web数据语义自动标注方法,首先,利用已抽取的信息和目标网站训练页面中呈现的特征构造多个分类器,使用Dempster合成法则合并分类器结果,区分训练页面中的属性标签和数据元素;然后,利用二维关联边条件随机场模型对Web数据元素间的长距离依赖联系和短距离依赖联系进行建模,实现数据元素的自动语义标注.通过在多个领域真实数据集上的实验结果表明,所提出的方法可以高效地解决Web数据语义自动标注问题,满足大规模Web信息抽取的需要. 展开更多

关键词 web信息抽取 语义标注 集成学习 条件随机场 长距离依赖

在线阅读 下载PDF 职称材料

一种基于SVM和AdaBoost的Web实体信息抽取方法 被引量：3

2

作者 孙明 陆春生 +2 位作者 徐秀星 李庆忠 彭朝晖 《计算机应用与软件》 CSCD 北大核心 2013年第4期101-106,152,共7页

提出一种基于SVM和AdaBoost的Web实体信息抽取方法。首先提出一种基于SVM的Web页面主数据区域识别方法,基于Web实体实例在页面中的展示特征,有效地将Web页面进行数据区域分割,识别出Web实体实例所在的主数据区域;然后基于Web实体属性标... 提出一种基于SVM和AdaBoost的Web实体信息抽取方法。首先提出一种基于SVM的Web页面主数据区域识别方法,基于Web实体实例在页面中的展示特征,有效地将Web页面进行数据区域分割,识别出Web实体实例所在的主数据区域;然后基于Web实体属性标签的特征,提出一种基于AdaBoost的集成学习方法,从页面的主数据区域自动地抽取Web实体信息。在两个真实数据集上进行实验,并与相关研究工作进行比较,实验结果说明该方法能够取得良好的抽取效果。 展开更多

关键词 web信息抽取 页面分割 集成学习

在线阅读 下载PDF 职称材料

基于模拟退火算法和二阶HMM的Web信息抽取 被引量：7

3

作者 李伟男 李书琴 +2 位作者 景旭 魏露 李新乐 《计算机工程与设计》 CSCD 北大核心 2014年第4期1264-1268,共5页

针对传统隐马尔科夫模型对初值敏感和未考虑历史状态的问题,提出了使用模拟退火算法训练二阶隐马尔科夫模型参数的SA-HMM2。在基于SA-HMM2的Web信息抽取方法中,采用基于视觉的网页分割算法VIPS对网页分块得到状态转移序列,利用提出的SA-... 针对传统隐马尔科夫模型对初值敏感和未考虑历史状态的问题,提出了使用模拟退火算法训练二阶隐马尔科夫模型参数的SA-HMM2。在基于SA-HMM2的Web信息抽取方法中,采用基于视觉的网页分割算法VIPS对网页分块得到状态转移序列,利用提出的SA-HMM2训练算法获取HMM2全局最优模型参数,用改进的Viterbi算法实现了Web信息的抽取。实验结果表明,该方法在平均综合值方面比HMM、GA-HMM分别提高约21%和7%。 展开更多

关键词 web信息抽取 隐马尔科夫模型 二阶隐马尔科夫模型 模拟退火算法 基于视觉的网页分割算法

在线阅读 下载PDF 职称材料

一种基于位置信息的Web页面分割方法 被引量：3

4

作者 陈翰生 曾剑平 张世永 《计算机应用与软件》 CSCD 2009年第7期155-159,共5页

提出并实现了一种针对HTML文档的页面分割方法,其目的是为了能有效提取新闻网页的正文以进行数据挖掘。基本思想是通过模拟网页浏览器的部分渲染工作,来还原HTML文档中每个标签在浏览器窗口上的显示位置,并以此对页面分割,用于提取一些... 提出并实现了一种针对HTML文档的页面分割方法,其目的是为了能有效提取新闻网页的正文以进行数据挖掘。基本思想是通过模拟网页浏览器的部分渲染工作,来还原HTML文档中每个标签在浏览器窗口上的显示位置,并以此对页面分割,用于提取一些重要区域的信息。在实验中,对10多个知名新闻站点如新浪、网易、TOM新闻等,利用这一方法提取其网页中的新闻正文,准确率在88.5%左右,表明了这一方法的有效性和可行性。 展开更多

关键词 网页分割 HTML文档 网页浏览器 信息抽取

在线阅读 下载PDF 职称材料

基于FFT的网页正文提取算法研究与实现 被引量：15

5

作者 李蕾 王劲林 +1 位作者 白鹤 胡晶晶 《计算机工程与应用》 CSCD 北大核心 2007年第30期148-151,共4页

主要研究"正文式"网页的有效信息提取算法。该种底层网页真正含有Web页面所表达的主题信息,通常包含一大段的正文信息,正文信息的前后是一些格式信息(例如导航信息、交互信息、JavaScript脚本等)。分析了此种网页的页面结构特... 主要研究"正文式"网页的有效信息提取算法。该种底层网页真正含有Web页面所表达的主题信息,通常包含一大段的正文信息,正文信息的前后是一些格式信息(例如导航信息、交互信息、JavaScript脚本等)。分析了此种网页的页面结构特征,将问题转化为——给定一个底层网页的HTML源文件,求解最佳的正文区间;从而提出了一种基于快速傅立叶变换的网页正文内容提取算法。采用窗口分段的方法,利用统计学原理和FFT,得出每个可能区间的权值,从而求解出最佳正文区间。实验结果表明,此种方法能比较准确的对"正文式"网页的有效信息进行提取。 展开更多

关键词 中文信息处理 web页面 信息提取 页面结构 FFT 区域分割

在线阅读 下载PDF 职称材料

结合网页结构与文本特征的正文提取方法 被引量：15

6

作者 熊忠阳 蔺显强 +1 位作者 张玉芳 牙漫 《计算机工程》 CAS CSCD 2013年第12期200-203,210,共5页

网页中存在正文信息以及与正文无关的信息,无关信息的存在对Web页面的分类、存储及检索等带来负面的影响。为降低无关信息的影响,从网页的结构特征和文本特征出发,提出一种结合网页结构特征与文本特征的正文提取方法。通过正则表达式去... 网页中存在正文信息以及与正文无关的信息,无关信息的存在对Web页面的分类、存储及检索等带来负面的影响。为降低无关信息的影响,从网页的结构特征和文本特征出发,提出一种结合网页结构特征与文本特征的正文提取方法。通过正则表达式去除网页中的无关元素,完成对网页的初次过滤。根据网页的结构特征对网页进行线性分块,依据各个块的文本特征将其区分为链接块与文本块,并利用噪音块连续出现的结果完成对正文部分的定位,得到网页正文信息。实验结果表明,该方法能够快速准确地提取网页的正文内容。 展开更多

关键词 正文提取 网页去噪 网页分块 主题爬行 信息检索 web挖掘

在线阅读 下载PDF 职称材料

信息抽取技术在移动学习资源建设中的应用研究 被引量：9

7

作者 徐朝军 宁馨瑞 《电化教育研究》 CSSCI 北大核心 2018年第3期90-95,102,共7页

在网络教学资源极为丰富的今天,从网页中自动抽取多媒体类及文本类教学资源切片,建立移动学习资源库,既充分提高了现有资源的利用率,也为现有电子书包等移动学习终端提供了丰富的资源来源。文章结合移动学习微内容设计要求,根据多媒体H... 在网络教学资源极为丰富的今天,从网页中自动抽取多媒体类及文本类教学资源切片,建立移动学习资源库,既充分提高了现有资源的利用率,也为现有电子书包等移动学习终端提供了丰富的资源来源。文章结合移动学习微内容设计要求,根据多媒体HTML标签特点,及文本类资源递归表达特征,提出了基于信息抽取的移动学习资源片段自动抽取的技术方案,该方案可以实时自动地从Web页面中抽取图片、音视频等多媒体资源切片及填空、选择题等移动学习资源切片。实验结果表明,方案整体准确率达85.4%,召回率达79.0%,时间性能上,可以在113.9小时内获取186,133个移动学习资源切片。该自动化的移动学习资源抽取技术方案具有较高的实用性,也是现有大数据技术在资源建设方面的应用之一。 展开更多

关键词 web教学资源 移动学习资源 分割 信息抽取

在线阅读 下载PDF 职称材料

基于标签路径聚类的文本信息抽取算法 被引量：1

8

作者 刘云峰 《计算机工程》 CAS CSCD 北大核心 2010年第12期83-84,87,共3页

针对网页噪音和网页非结构化信息抽取复杂度高的问题,提出一种基于标签路径聚类的文本信息抽取算法。对网页噪音进行预处理,根据网页的文档对象模型树结构进行标签路径聚类,通过自动训练的阈值和网页分割算法快速判定网页的关键部分,根... 针对网页噪音和网页非结构化信息抽取复杂度高的问题,提出一种基于标签路径聚类的文本信息抽取算法。对网页噪音进行预处理,根据网页的文档对象模型树结构进行标签路径聚类,通过自动训练的阈值和网页分割算法快速判定网页的关键部分,根据数据块中的嵌套结构获取网页文本抽取模板。对不同类型网站的实验结果表明,该算法运行速度快、准确度高。 展开更多

关键词 标签路径 网页分割 信息抽取 聚类 阈值

在线阅读 下载PDF 职称材料

基于CRFs的新闻网页主题内容自动抽取方法 被引量：1

9

作者 张春元 《广西师范大学学报（自然科学版）》 CAS 北大核心 2011年第1期138-142,共5页

针对当前新闻网页主题内容抽取方法较少利用网页块之间关联特性这一问题,提出了一种基于条件随机场(CRFs)的新闻网页主题内容自动抽取方法。该方法首先将待抽取网页解析成DOM树,经过滤、剪枝以及压缩处理后,然后按照一定的启发式规则将... 针对当前新闻网页主题内容抽取方法较少利用网页块之间关联特性这一问题,提出了一种基于条件随机场(CRFs)的新闻网页主题内容自动抽取方法。该方法首先将待抽取网页解析成DOM树,经过滤、剪枝以及压缩处理后,然后按照一定的启发式规则将DOM树切割成块并转换成为一个数据序列,再定义CRFs特征函数来提取各网页块自身状态特征和相邻块间类别转移特征,通过CRFs模型对数据序列进行类别标注来实现网页主题内容的抽取。实验表明,该方法对新闻网页主题内容的抽取具有较高检准率和较强适应能力,引入块间关联特性可改善新闻网页主题内容的抽取。 展开更多

关键词 web信息抽取 条件随机场 网页分块

在线阅读 下载PDF 职称材料

网页文本信息自动提取技术综述 被引量：9

10

作者 张俊英 胡侠 卜佳俊 《计算机应用研究》 CSCD 北大核心 2009年第8期2827-2831,共5页

对W eb网页文本信息自动提取技术提供了一个较为全面的综述。通过分析在这个领域常用到的三种信息提取模型和四类机器学习算法的发展,较为全面地阐述了当前主流的网页文本信息自动提取技术,对比了各种方法的应用范围,最后对于该领域当... 对W eb网页文本信息自动提取技术提供了一个较为全面的综述。通过分析在这个领域常用到的三种信息提取模型和四类机器学习算法的发展,较为全面地阐述了当前主流的网页文本信息自动提取技术,对比了各种方法的应用范围,最后对于该领域当前的热点问题和发展趋势进行了展望。 展开更多

关键词 信息提取 机器学习 网页

在线阅读 下载PDF 职称材料

基于分块的网页主题文本抽取 被引量：5

11

作者 任玉 樊勇 郑家恒 《广西师范大学学报（自然科学版）》 CAS 北大核心 2009年第1期141-144,共4页

根据网页文本信息的结构和内容特征,提出一种网页主题文本信息的抽取策略,将网页文档表示为DOM标签树的形式,然后根据Web页面的结构特征进行内容块的分割,以网页的文本内容特征为依据识别链接型和主题型内容块,并提取主题型网页的文本... 根据网页文本信息的结构和内容特征,提出一种网页主题文本信息的抽取策略,将网页文档表示为DOM标签树的形式,然后根据Web页面的结构特征进行内容块的分割,以网页的文本内容特征为依据识别链接型和主题型内容块,并提取主题型网页的文本信息块。实验结果表明:基于分块的方法有效地实现了链接型和主题型网页的分类,并准确地完成主题型网页的文本信息块的抽取任务,是一种简单、准确的网页信息抽取方法。 展开更多

关键词 HTML标签 网页分块 内容特征 信息抽取

在线阅读 下载PDF 职称材料

互联网商品信息抽取技术 被引量：5

12

作者 于鲁波 陈超 《计算机工程》 CAS CSCD 北大核心 2008年第5期274-276,共3页

针对网页信息抽取中格式多样化的问题,提出一种基于路径统计聚类的信息抽取算法。该算法充分利用电子商务网站网页的特点,给出网页统计信息的一般数学表达式,在此基础上,采用基于统计聚类的思想,分割信息块,实现抽取信息。通过对实际电... 针对网页信息抽取中格式多样化的问题,提出一种基于路径统计聚类的信息抽取算法。该算法充分利用电子商务网站网页的特点,给出网页统计信息的一般数学表达式,在此基础上,采用基于统计聚类的思想,分割信息块,实现抽取信息。通过对实际电子商务网站网页信息的抽取,证明算法的有效性,分割正确率达92.27%,信息抽取正确率达98.24%。 展开更多

关键词 网页分割 网页信息抽取 包装器 路径聚类

在线阅读 下载PDF 职称材料

基于注意力机制和集成学习的网页黑名单判别方法 被引量：2

13

作者 周超然 赵建平 +1 位作者 马太 周欣 《计算机应用》 CSCD 北大核心 2021年第1期133-138,共6页

搜索引擎作为互联网主要应用之一,能够根据用户需求从互联网资源中检索并返回有效信息。然而,得到的返回列表往往包含广告和失效网页等噪声信息,而这些信息会干扰用户的检索与查询。针对复杂的网页结构特征和丰富的语义信息,提出了一种... 搜索引擎作为互联网主要应用之一,能够根据用户需求从互联网资源中检索并返回有效信息。然而,得到的返回列表往往包含广告和失效网页等噪声信息,而这些信息会干扰用户的检索与查询。针对复杂的网页结构特征和丰富的语义信息,提出了一种基于注意力机制和集成学习的网页黑名单判别方法,并采用本方法构建了一种基于集成学习和注意力机制的卷积神经网络(EACNN)模型来过滤无用的网页。首先,根据网页上不同种类的HTML标签数据,构建多个基于注意力机制的卷积神经网络(CNN)基学习器;然后,采用基于网页结构特征的集成学习方法对不同基学习器的输出结果执行不同的权重计算,从而实现EACNN的构建;最后,将EACNN的输出结果作为网页内容分析结果,从而实现网页黑名单的判别。所提方法通过注意力机制来关注网页语义信息,并通过集成学习的方式引入网页结构特征。实验结果表明,与支持向量机(SVM)、K近邻(KNN)、CNN、长短期记忆(LSTM)网络、GRU、结合注意力机制的卷积神经网络(ACNN)等基线模型相比,所提模型在所构建的面向地理信息领域的判别数据集上具有最高的准确率(0.97)、召回率(0.95)和F1分值(0.96),验证了EACNN在网页黑名单判别工作中的优势。 展开更多

关键词 网页黑名单 判别模型 网页结构特征 语义信息 注意力机制 集成学习 深度学习

在线阅读 下载PDF 职称材料