![]() |
风流倜傥的凳子 · 如何在UITextView中禁用换行和只启用 ...· 1 周前 · |
![]() |
爱跑步的山寨机 · 如何自动填充公式vba_头条· 1 年前 · |
![]() |
正直的酸菜鱼 · postgresql中在查询结果中将字符串转 ...· 1 年前 · |
![]() |
八块腹肌的绿茶 · 关于南山智园崇文园区项目入驻企业的租售结果公 ...· 2 年前 · |
![]() |
呐喊的海龟 · android studio怎么导出项目-掘金· 2 年前 · |
说起来我很久没有写爬虫了主要是觉得 如果能花比 较少的钱
就能得到一份资料的话那付出一点费用作为 酬劳 又何尝不可呢
说个同事小哥告诉我的事情:
国内比较有名的 ip库
地址 : https://www.ipip.net/
有 付费和免费 的api接口,免费的接口有一定的限制
这个网站的 站长 曾经说 我发现很多 人(公司) 宁愿 花钱 部署大量的服务器 爬虫 来查我的ip库也不愿意付一点点费用来获取 更好的服务
缘起
那我这次为啥要来写 腾讯漫画 爬虫的呢?
是因为有一个父亲在公众号后台问我能不能做个 腾讯漫画 的爬虫 来给他 女儿学画画的时候当做素材
一开始我也推荐他去 直接买 一个 vip包月服务
后来我打开腾讯漫画一看发现根本没有包月这种东西
每一章 漫画都要付一定的费用并且还 没有下载 的功能于是我撸起袖子搞了这个爬虫
先看效果
下载过程
下载之后
图片文件
预览效果
还不错吧~
部分代码
基本思路就是:
抓取列表页
抓详情页
解析图片地址
下载图片
比较关键的是对于图片地址的解析这里腾讯数据是经过 加密的 我研究了好一会才知道是怎么回事~
漫画的基本数据会以 json 的格式存在本地差不多是这样:
最后
为什么说是免费呢?这就需要大家去研究一下腾讯漫画的代码了我就不明着说出来了~
话说代码我也开源带 Github 了需要用的小伙伴自取啊~link: https://github.com/Ehco1996/Python-crawler
另外如果想学习怎么写爬虫的小伙伴~可以关注我的知乎专栏: https://zhuanlan.zhihu.com/Ehco-python
写公众号也有 1年多 时间了终于能开通广告栏了劳烦各位 大佬 帮忙点一下 广告 呗~
Copyright © 2013 - 2023 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号: 粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
扫码关注腾讯云开发者
领取腾讯云代金券