基于Python的网络爬虫技术被引量：7

在线阅读下载PDF

导出

摘要大数据环境下,网络爬虫能自动获取网页信息,本文以当当网为例,对基于Python的网络爬虫技术进行研究和分析。详细介绍数据的抓取、解析、持久化过程。

作者赵文杰古荣龙

机构地区四川水利职业技术学院

出处《河北农机》 2020年第8期65-66,共2页

关键词大数据网络爬虫 PYTHON

分类号 TP3 [自动化与计算机技术—计算机科学与技术]

引文网络
相关文献

参考文献4

1钱程,阳小兰,朱福喜.基于Python的网络爬虫技术[J].黑龙江科技信息,2016(36):273-273. 被引量：27
2彭智鑫.基于Python的深度网络爬虫的设计与实现[J].信息记录材料,2018,19(8):140-141. 被引量：4
3郭丽蓉.基于Python的网络爬虫程序设计[J].电子技术与软件工程,2017(23):248-249. 被引量：61
4魏程程.基于Python的数据信息爬虫技术[J].电子世界,2018,0(11):208-208. 被引量：10

二级参考文献9

1周立柱,林玲.聚焦爬虫技术研究综述[J].计算机应用,2005,25(9):1965-1969. 被引量：156
2于成龙,于洪波.网络爬虫技术研究[J].东莞理工学院学报,2011,18(3):25-29. 被引量：23
3胡军伟,秦奕青,张伟.正则表达式在Web信息抽取中的应用[J].北京信息科技大学学报（自然科学版）,2011,26(6):86-89. 被引量：43
4于娟,刘强.主题网络爬虫研究综述[J].计算机工程与科学,2015,37(2):231-237. 被引量：103
5刘娜.Python正则表达式高级特性研究[J].电脑编程技巧与维护,2015(22):12-13. 被引量：3
6陈琳,任芳.基于Python的新浪微博数据爬虫程序设计[J].信息系统工程,2016,29(9):97-99. 被引量：24
7谢克武.大数据环境下基于python的网络爬虫技术[J].电子制作,2017,25(9):44-45. 被引量：51
8韩菲,金磊,戴文浩,李艳飞,杨树.基于Python的实时数据库设计[J].仪器仪表用户,2017,24(6):28-30. 被引量：5
9刘石磊.对反爬虫网站的应对策略[J].电脑知识与技术,2017,13(5X):19-21. 被引量：20

共引文献95

1沈承放,莫达隆,黄文韬.网页数据采集算法及在住户调查中的应用[J].统计与决策,2021(7):52-56. 被引量：7
2谈帅,唐天琪,高雅.网络众源地理信息获取与整合方法研究[J].现代测绘,2021(2):53-58.
3梁晶,陈中元,张永宏,唐明灯.基于Python语言的“网络攻防技术”课程教学改革探索[J].中国多媒体与网络教学学报（电子版）,2020(14):48-50. 被引量：3
4项博良,唐淳淳,钱前,曹健东.基于网络爬虫的就业数据分析[J].智能计算机与应用,2020,10(1):223-226. 被引量：4
5王碧瑶.基于Python的网络爬虫技术研究[J].数字技术与应用,2017,35(5):76-76. 被引量：16
6白雪丽.浅析基于Python爬虫技术的特性及应用[J].山西科技,2018,33(2):53-55. 被引量：19
7王世纯,许新华,张洪春,黄嘉成.个体差异对Python爬虫获取教育大数据的影响研究[J].中国教育信息化,2018,24(9):79-81. 被引量：2
8潘巧智,张磊.浅谈大数据环境下基于python的网络爬虫技术[J].网络安全技术与应用,2018(5):41-42. 被引量：13
9夏天琦.Python爬虫获取网络图片[J].电子世界,2018,0(10):101-101. 被引量：1
10曾武序,钱文彬,王映龙,杨文姬,柳军.一种基于Python和BP神经网络的股票预测方法[J].计算机时代,2018(6):72-75. 被引量：6

同被引文献37

1蔡莉,王淑婷,刘俊晖,朱扬勇.数据标注研究综述[J].软件学报,2020,31(2):302-320. 被引量：82
2顾阳.生成语法及词库中动词的一些特性[J].当代语言学,1996(3):1-16. 被引量：92
3孟雪井,孟祥兰,胡杨洋.基于文本挖掘和百度指数的投资者情绪指数研究[J].宏观经济研究,2016(1):144-153. 被引量：55
4白雪丽.浅析基于Python爬虫技术的特性及应用[J].山西科技,2018,33(2):53-55. 被引量：19
5何春燕,王超宇.基于python+pandas的数据分析处理应用[J].数码世界,2018,0(7):386-386. 被引量：2
6张岩.大数据反爬虫技术分析[J].信息系统工程,2018,31(8):130-130. 被引量：3
7刘石磊.对反爬虫网站的应对策略[J].电脑知识与技术,2017,13(5X):19-21. 被引量：20
8陈利婷.大数据时代的反爬虫技术[J].电脑与信息技术,2016,24(6):60-61. 被引量：21
9程龙.大数据时代数据处理过程中的风险控制[J].科技传播,2019,11(10):120-121. 被引量：2
10《实体瘤病理数据集建设和数据标注质量控制专家共识》筹备组,于观贞,陈颖,褚君浩,樊嘉,高强,高云姝,李郁,李庆利,刘西洋,宋志刚,朱明华,倪灿荣.实体瘤病理数据集建设和数据标注质量控制专家意见(2019)[J].第二军医大学学报,2019,40(5):465-470. 被引量：5

引证文献7

1赵北庚.基于Flask与爬虫技术的可视化深度学习数据标注系统[J].电子制作,2020,28(20):36-37. 被引量：7
2李文华.解析网络爬虫技术原理[J].福建电脑,2021,37(1):95-96. 被引量：7
3卢江,刘文正.基于爬虫技术的图书购买推荐与比价策略研究[J].科技资讯,2021,19(1):214-219.
4黄蓉,毛红霞.基于豆瓣网某系列电影数据采集与可视化分析[J].现代信息科技,2020,4(23):4-7. 被引量：3
5牛世刚.利用爬虫技术助力酒钢信息情报搜集业务的发展[J].酒钢科技,2021(3):57-61.
6吴宇鹏.分布式计算视域的网络爬虫技术研究[J].信息与电脑,2021,33(19):87-89.
7王霞,张俊坤,陈尧,文科历.基于Python的钒钛词库爬虫设计与分析[J].无线互联科技,2022,19(1):46-47.

二级引证文献17

1傅骏,傅馨竹,吴高静,丁才愈,龙辉阳,熊子淇.智能信息采集器软件开发实践[J].中小企业管理与科技,2021(13):192-193.
2米启超,赵红梅,林丽萍.基于多通道卷积神经网络的非结构化数据标注[J].计算机仿真,2021,38(6):400-404. 被引量：2
3燕妮,李岳松,郭史进,刘浩宇.基于Flask和爬虫的书籍循环平台的设计与实现[J].科技与创新,2021(17):1-3. 被引量：1
4阎泽群.基于网络爬虫技术的大数据采集系统设计[J].现代信息科技,2021,5(12):83-86. 被引量：5
5刘荣,王爱强.网络爬虫技术滥用的刑事责任[J].中国检察官,2021(18):28-31. 被引量：3
6叶蕾,陈佳欣,郑文欣.网络恶意爬虫的发展现状及对策研究[J].电脑知识与技术,2021,17(30):72-73.
7蔡文乐,周晴晴,刘玉婷,秦立静.基于Python爬虫的豆瓣电影影评数据可视化分析[J].现代信息科技,2021,5(18):86-89. 被引量：15
8孙月莹,张佳泽,张胜茂,邹国华.中国水产品进出口统计数据可视化设计与实现[J].电脑知识与技术,2022,18(3):12-15. 被引量：1
9谢彦南,杨呈敏.电影票房数据采集与可视化研究[J].信息与电脑,2021,33(23):176-178. 被引量：4
10曹蕊,周毓奇.基于BERT-BiGRU多模集成的食品安全舆情分析系统[J].信息与电脑,2022,34(7):94-97. 被引量：1

1沈旭,王新政,林子晴.高校网络舆情突发事件预警系统研究与设计[J].现代计算机,2020,26(23):87-93. 被引量：2

河北农机

2020年第8期

浏览历史

内容加载中请稍等...

基于Python的网络爬虫技术被引量：7

参考文献4

二级参考文献9

共引文献95

同被引文献37

引证文献7

二级引证文献17

相关作者

相关机构

相关主题

浏览历史

基于Python的网络爬虫技术 被引量：7

参考文献4

二级参考文献9

共引文献95

同被引文献37

引证文献7

二级引证文献17

相关作者

相关机构

相关主题

浏览历史

基于Python的网络爬虫技术被引量：7