备案 控制台
学习
实践
活动
专区
工具
TVP
写文章
专栏首页 云原生生态圈 爬虫第一步:python
1 0

海报分享

爬虫第一步:python

关于python

python语言的有点,可想而知,在快速开发领域早已分一杯羹,使用python语言开发我们想要的软件,往往就是事半功倍的效果,废话不多说,我们开始新的一波爬虫干货吧

案例一,爬取网站小说

选择你要爬取的网站

找到你爬取网站的站点地图,分析网页源码,找到匹配的内容,通过Python正则表达式过滤出来

多层递归哪去数据

存储于数据库中

1. 分析

  1. 全书网:http://www.quanshu.net/
  2. 全书网站点地图:

3.通过标题栏发现URL的规则

玄幻魔法:http://www.quanshu.net/map/1.html

武侠修真:http://www.quanshu.net/map/2.html

历史军事:http://www.quanshu.net/map/3.html

....

4.查看源码发现规律

5.使用正则提取出小说的URL以及title

了解无敌正则:(.*?)