检索结果-维普期刊中文期刊服务平台

气象网页数据反爬虫措施探讨: 1; 作者乔显栋任睿智 +1 位作者史贺龙费嘉琛《数字技术与应用》 2024年第2期112-114,共3页; 随着气象事业及互联网技术的发展,气象数据逐渐成为一项重要资源,并成为数据保护的重点对象,与此同时,获取数据资源的技术,尤其是网络爬虫技术也发展迅猛。各种科研、服务对气象数据的需求日益增长,而数据使用者可能利用爬虫程序使用反... 展开更多; 关键词数据保护网络爬虫技术反爬虫气象事业气象数据数据爬虫网页数据爬虫程序; 在线阅读下载PDF 职称材料

基于Python的网络爬虫和反爬虫技术研究被引量：9: 2; 作者周毅宁亮 +2 位作者王鸥孙海波何金《现代信息科技》 2021年第21期149-151,共3页; 在大数据时代下,网站的运行面临着越来越多的挑战,各类网络爬虫层出不穷,唯有合理有效地应用反爬虫技术,才能保证网站安全稳定运营,保障网站用户的访问体验。而对于网络爬虫技术而言,了解和掌握网站的反爬虫策略,能促进网络爬虫技术向... 展开更多; 关键词网络爬虫反爬虫 PYTHON; 在线阅读下载PDF 职称材料

大数据反爬虫技术的应用分析被引量：6: 3; 作者李嘉恩《无线互联科技》 2021年第24期82-83,共2页; 文章应用综合分析等方法,从技术设置、流量管控、爬虫技术、应用策略等方面分析当前反爬虫技术存在的应用问题,从5个方面提出针对性的应用意见,使反爬虫技术得到更有效的应用。; 关键词大数据反爬虫应用分析; 在线阅读下载PDF 职称材料

网络爬虫反爬策略研究被引量：9: 4; 作者胡俊潇陈国伟《科技创新与应用》 2019年第15期137-138,140,共3页; 网络爬虫在工作时会对目标站点发送大量的请求,这样的爬虫工作方式决定了其会消耗不少目标站点的服务器资源,这对于一个服务器不大的中小型站点来说负载是巨大的,甚至会导致该站点直接崩溃。另外某些网站也不希望自己的内容被轻易的获取... 展开更多; 关键词网络爬虫反爬虫抓取策略; 在线阅读下载PDF 职称材料

面向网络爬虫的智能拦截系统: 5; 作者马超勇李秋贤周全兴《现代信息科技》 2022年第7期127-132,共6页; 随着互联网的飞速发展,网络爬虫技术越来越普及,恶意爬虫或技术较差的爬虫占用大量的服务器资源,影响正常用户的网络使用体验。自动化薅羊毛程序给公司带来的直接或间接损失不容小觑,同时还存在泄露用户数据等负面影响。鉴于此,文章设... 展开更多; 关键词反爬虫网络爬虫拦截系统信息安全; 在线阅读下载PDF 职称材料

基于IP访问控制的轻量级Web应用防御机制研究与实践: 6; 作者李永何飞 +3 位作者刘丽莎陈涌均宋欣卉赵磊《信息技术与标准化》 2023年第12期38-43,共6页; 为了解决Web应用在访问量出现急剧增长时业务功能无法正常运行的问题,提出一种基于IP访问控制的轻量级Web应用防御方案。该方案提出了包含保障服务器资源稳定、保障正常用户的高频访问、控制恶意访问的3级防御策略,能够在无法快速扩充... 展开更多; 关键词访问控制 IP代理轻量级防御机制反爬虫; 在线阅读下载PDF 职称材料

题名气象网页数据反爬虫措施探讨: 1; 作者乔显栋任睿智史贺龙费嘉琛; 机构昔阳县气象局山西省寿阳县气象局; 出处《数字技术与应用》 2024年第2期112-114,共3页; 文摘随着气象事业及互联网技术的发展,气象数据逐渐成为一项重要资源,并成为数据保护的重点对象,与此同时,获取数据资源的技术,尤其是网络爬虫技术也发展迅猛。各种科研、服务对气象数据的需求日益增长,而数据使用者可能利用爬虫程序使用反爬虫的对抗技术非法来获取自己所需的气象数据。本文旨在研究反爬虫措施,并结合实践,探讨如何采取相应的措施对抗数据爬虫,实现对网站气象数据资源的保护。; 关键词数据保护网络爬虫技术反爬虫气象事业气象数据数据爬虫网页数据爬虫程序; 分类号 TP393.09 [自动化与计算机技术—计算机应用技术] P409 [天文地球—大气科学及气象学]; 在线阅读下载PDF 职称材料

题名基于Python的网络爬虫和反爬虫技术研究被引量：9: 2; 作者周毅宁亮王鸥孙海波何金; 机构国网辽宁省电力有限公司信息通信分公司; 出处《现代信息科技》 2021年第21期149-151,共3页; 基金国家电网有限公司科技项目:提高技术创新能力及群众性创新课题研究(2021YF-86)。; 文摘在大数据时代下,网站的运行面临着越来越多的挑战,各类网络爬虫层出不穷,唯有合理有效地应用反爬虫技术,才能保证网站安全稳定运营,保障网站用户的访问体验。而对于网络爬虫技术而言,了解和掌握网站的反爬虫策略,能促进网络爬虫技术向成熟和稳定的方向发展。文章对基于Python的网络爬虫和反爬虫技术进行了分析研究,在保证网站反爬虫技术的高质量应用的同时,对于提升网络爬虫抓取效率,具有十分重要的意义。; 关键词网络爬虫反爬虫 PYTHON; Keywords web crawler anti-crawler Python; 分类号 TP311 [自动化与计算机技术—计算机软件与理论]; 在线阅读下载PDF 职称材料

题名大数据反爬虫技术的应用分析被引量：6: 3; 作者李嘉恩; 机构广东南方职业学院; 出处《无线互联科技》 2021年第24期82-83,共2页; 文摘文章应用综合分析等方法,从技术设置、流量管控、爬虫技术、应用策略等方面分析当前反爬虫技术存在的应用问题,从5个方面提出针对性的应用意见,使反爬虫技术得到更有效的应用。; 关键词大数据反爬虫应用分析; Keywords Big Data anti-crawler application analysis; 分类号 TP311.13 [自动化与计算机技术—计算机软件与理论] TP393.09 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名网络爬虫反爬策略研究被引量：9: 4; 作者胡俊潇陈国伟; 机构中国传媒大学; 出处《科技创新与应用》 2019年第15期137-138,140,共3页; 文摘网络爬虫在工作时会对目标站点发送大量的请求,这样的爬虫工作方式决定了其会消耗不少目标站点的服务器资源,这对于一个服务器不大的中小型站点来说负载是巨大的,甚至会导致该站点直接崩溃。另外某些网站也不希望自己的内容被轻易的获取,如电商网站的交易额,这些数据是一个互联网产品的核心,因此采取一定的手段保护敏感的数据。因此很多网站都在站点中加入了反爬机制。例如User-Agent+Referer检测、账号登陆及Cookie验证等。文章讨论了几种主流的方法来避免爬虫被目标站点服务器封禁,从而保证爬虫的正常运行。; 关键词网络爬虫反爬虫抓取策略; Keywords Web crawler anti-crawler crawling strategy; 分类号 TP393.092 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名面向网络爬虫的智能拦截系统: 5; 作者马超勇李秋贤周全兴; 机构凯里学院大数据工程学院; 出处《现代信息科技》 2022年第7期127-132,共6页; 基金凯里学院大学生创新创业训练计划项目(202110669010) 贵州省普通高等学校青年科技人才成长项目(黔教合KY字[2021]179,黔教合KY字[2021]180) 黔东南州科技计划项目(黔东南科合J字[2021]39号)。; 文摘随着互联网的飞速发展,网络爬虫技术越来越普及,恶意爬虫或技术较差的爬虫占用大量的服务器资源,影响正常用户的网络使用体验。自动化薅羊毛程序给公司带来的直接或间接损失不容小觑,同时还存在泄露用户数据等负面影响。鉴于此,文章设计开发一款反爬虫系统,重点介绍了爬虫的特征及检测技术、功能模块及系统设计、数据库设计。; 关键词反爬虫网络爬虫拦截系统信息安全; Keywords anti crawler Web crawler interception system information security; 分类号 TP309 [自动化与计算机技术—计算机系统结构]; 在线阅读下载PDF 职称材料

题名基于IP访问控制的轻量级Web应用防御机制研究与实践: 6; 作者李永何飞刘丽莎陈涌均宋欣卉赵磊; 机构中国民航信息网络股份有限公司中国民航信息网络股份有限公司重庆分公司; 出处《信息技术与标准化》 2023年第12期38-43,共6页; 文摘为了解决Web应用在访问量出现急剧增长时业务功能无法正常运行的问题,提出一种基于IP访问控制的轻量级Web应用防御方案。该方案提出了包含保障服务器资源稳定、保障正常用户的高频访问、控制恶意访问的3级防御策略,能够在无法快速扩充服务器资源的情况下,保障业务功能稳定。在某电子商务销售网站实施后的结果表明,该方案实施难度低、实施周期短、通用性高。; 关键词访问控制 IP代理轻量级防御机制反爬虫; Keywords access control IP proxy lightweight defense mechanism anti-crawling; 分类号 TP393.08 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

	题名	作者	出处	发文年	被引量	操作
1	气象网页数据反爬虫措施探讨	乔显栋任睿智史贺龙费嘉琛	《数字技术与应用》	2024	0	在线阅读下载PDF 职称材料
2	基于Python的网络爬虫和反爬虫技术研究	周毅宁亮王鸥孙海波何金	《现代信息科技》	2021	9	在线阅读下载PDF 职称材料
3	大数据反爬虫技术的应用分析	李嘉恩	《无线互联科技》	2021	6	在线阅读下载PDF 职称材料
4	网络爬虫反爬策略研究	胡俊潇陈国伟	《科技创新与应用》	2019	9	在线阅读下载PDF 职称材料
5	面向网络爬虫的智能拦截系统	马超勇李秋贤周全兴	《现代信息科技》	2022	0	在线阅读下载PDF 职称材料
6	基于IP访问控制的轻量级Web应用防御机制研究与实践	李永何飞刘丽莎陈涌均宋欣卉赵磊	《信息技术与标准化》	2023	0	在线阅读下载PDF 职称材料