前段时间喜欢上了几部漫画,发现了一个宝藏网站“拷贝漫画”。上面有很多我想看的漫画,但是访问速度很慢,官方提供的下载又有次数限制。于是就在GITHUB上找了一个大佬写的爬虫。

但是爬虫在电脑端运行,而我喜欢在手机平板上看漫画,每次要把文件拷贝过去,挺麻烦的,有一天就想到可以利用Termux直接在手机上运行爬虫。

Termux是一个安卓APP,可以在手机上提供一个Linux环境,我们可以在上面安装python开发环境,以此来运行爬虫脚本。

相关环境如下:

  • 小米 10
  • MIUI 13 V12.0.5.1.32.DEV
  • Termux 0.118.0
  • Python 3.10.4

接下来介绍具体的操作流程

下载并安装Termux

Termux官网: https://termux.com/

建议从F-Droid上获取APK安装包。下载安装后直接打开,然后执行以下命令

# 升级软件包
pkg upgrade
# 授权termux访问手机存储空间
termux-setup-storage

配置SSH工具

在手机上敲代码太麻烦了。为此,我们安装SSH工具,通过电脑连接Termux再进行操作。电脑连接SSH的方法不在此赘述,请自行百度。嫌麻烦的同学可以跳过这部分内容,继续在手机上敲命令。

执行以下命令安装SSH

# 查看自己的用户名
whoami
# 设置自己的密码
passwd
# 输入密码
# 再输入密码
# 安装SSH
pkg install ssh
# 运行SSH

配置Python开发环境

执行以下命令安装Python

pkg install python

安装GIT工具

执行以下命令安装git

pkg install git

下载爬虫代码

执行以下命令下载爬虫代码

git clone https://github.com/KILLER2017/copymanga-downloader.git
# 安装虚拟环境依赖
pip install virtualenv
# 进入爬虫项目目录
cd copymanga-downloader
# 创建虚拟环境
virtualenv venv
# 激活虚拟环境
source venv/bin/activate
# 安装项目依赖
pip install -r requirements.txt

至此,已经配置完毕。接下来让我们运行爬虫试试
在这里插入图片描述
在这里插入图片描述

爬虫代码仓库

GitHub - KILLER2017/copymanga-downloader: 使用python编译exe/bash来下载copymanga(拷贝漫画)中的漫画,支持批量+选话下载和获取您收藏的漫画并下载!(windows&linux支持,MacOS代码支持)

Termux 是一个 Android 终端仿真应用程序,用于在 Android 手机上搭建一个完整的 Linux 环境。 不需要 root 权限 Termux 就可以正常运行Termux 基本实现 Linux 下的许多基本操作。可以使用 Termux 安装 python,并实现 python 编程,可以用手机架设 Server,同样可以用于渗透测试等等。 Termux 是一个 Android 下一个高级的终端模拟器,开源且不需要 root,支持 apt 管理软件包,十分方便安装软件包,完美支持 Python、 PHP、 Ruby、 Nodejs、 MySQL等。随着智能设备的普及和性能的不断提升,如今的手机、平板等的硬件标准已达到了初级桌面计算机的硬件标准,用心去打造 DIY 的话完全可以把手机变成一个强大的极客工具。
快速入门手机爬虫 本人是在接触python爬虫后,萌发了“Android开发应该也能实现爬虫效果,这样用手机爬是不是会更方便”这一念想。于是兴趣使然就开始了手机爬虫的探索之旅。虽然这路已被探索无数次,但是对于未曾去过的我依旧向往。 一、整装待发: 1)爬虫工具和环境: Android系统 Android studio 2)入手前准备: 了解kotlin语言:由于Android studio 4.1使用的是kotlin语言,所以需要自行稍微了解一下其语言特性,如定义方式、逻辑表达式,当然你会发现
1. Fiddler 设置 这是使用 fiddler 进行手机 app 的抓包,也可以使用 Charles,burpSuite 等。。。 电脑安装 Fiddler,手机 和 安装 fiddler 的电脑处于同一个网络里, 否则手机不能把 HTTP 发送到 Fiddler 的机器上来。 配置 Fiddler,允许"远程连接"。用 Fiddler 对 A...
之前介绍的都是关于网页爬虫的相关内容,今天博主想跟大家分享一个非常牛的手机爬虫工具Appium,首先我会介绍它的安装方法,然后给出一个Appium连接手机app例程。 二.详细安装过程 2.1 Node.js的安装 进入Node.js官网下载相应的软件,我选择的是左侧的更稳定的版本14.15.4,下载完成后点击安装,在安装过程中所有的步骤全部按默认即可。 2.2 JDK8的安装 首先需要选择对合适的JDK版本,我之前安装的是JDK11,结果在安装SDK工具的时候被识别JDK版本过低而安装失败,经
拷貝漫畫 - 海賊王 海贼王 哥布林殺手 哥布林杀手 漫畫 漫画 FGO FGO 東方 东方 艦娘 舰娘 同人志 本子 更新 全集 在綫漫畫 在线漫画 - 拷貝漫畫 拷贝漫画 (copymanga.com)https://www.copymanga.com/拷贝漫画是一个神奇的网站,他的服务器在新加坡,所以可以规避一些风险。资源也丰常丰富,但可惜的是目前还没有ios的客户端,直接看网页端的体验比较一般。所以就萌生出写一个爬虫来下到本地观看的想法。 废话不多说直接上代码: 首先,打开下面的网址: https://f-droid.org/packages/com.termux/ 然后我们找到最上面的一个版本,然后点击下载apk就好了,注意不要点击下载F-DROID。
这是ignite模块没有安装的原因 安装命令: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pytorch-ignite 亲测有效哟!!O(∩_∩)O
笔者是一个痴迷于挖掘数据中的价值的学习人,希望在平日的工作学习中,挖掘数据的价值,找寻数据的秘密,笔者认为,数据的价值不仅仅只体现在企业中,个人也可以体会到数据的魅力,用技术力量探索行为密码,让大数据助跑每一个人,欢迎直筒们关注我的公众号,大家一起讨论数据中的那些有趣的事情。 我的公众号为:livandata url = 'https://www.baidu.com' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') print(soup.title.string) 运行命令: `python 爬虫代码.py` 即可输出百度首页的标题。
◇尘埃灬: 代码是下载,环境那步没有什么反应项目依赖 ~/copymanga-downloader/copymanga-downloader $ pip install -r requirements.txt No command pip found, did you mean: Command pic in package groff Command ip in package iproute2 Command php in package php Command php in package php7 Command pil in package picolisp Command pup in package pup Command ip in package termux-tools Command zip in package zip ~/copymanga-downloader/copymanga-downloader $ 利用Termux在手机上运行爬虫下载漫画 ◇尘埃灬: 得科学才能下代码,但是我下安装依赖没有反应 利用Termux在手机上运行爬虫下载漫画 花开半夏366: 能出一个爬图片吗 利用Termux在手机上运行爬虫下载漫画 zxbmmlal: 爬虫代码下载不了啊 Stream使用Collectors.toMap方法当value为NULL时抛NullPointException programmer_ada: 推荐 Java 技能树:https://edu.csdn.net/skill/java?utm_source=AI_act_java