python scrapy 爬取steam游戏_steam数据爬取_Mandy。的博客

相关文章推荐

近视的橙子 · python ...· 1 月前 ·

腼腆的皮带 · 少爷和我，阿拉贡x佛罗多cp名拉布拉多_哔哩 ...· 4 月前 ·

勤奋的铁链 · 华东电力设计院有限公司2024年校园招聘公告 ...· 5 月前 ·

可爱的红烧肉 · 原神同人黄禁3D漫画网站_素材网站_图片免费 ...· 7 月前 ·

打酱油的猴子 · 我上海人，25岁悉尼留学，回国后成旅游定制师 ...· 8 月前 ·

有情有义的蟠桃 · 潘甜甜的个人主页-西瓜视频· 1 年前 ·

目标网页：
游戏列表页
在这里插入图片描述
游戏详情页

游戏评论

目标数据：
列表页：游戏标题，游戏价格，折扣，评论总数，好评比例，游戏发布时间
详情页：游戏图片，游戏简介，游戏评论

首先创建一个scrapy项目
在这里插入图片描述
根据规律构造列表页的请求地址

分析标签，抓取数据

标题↑，价格↓

列表页解析函数

测试打印第一条数据

然后开始构建详情页请求（这里一定要加accept-language这个请求头，不然会返回英文页面）

在这里插入图片描述
详情页的解析函数

测试打印数据

接下来获取游戏评论

推荐文章

近视的橙子 · python 把列表变量保存到txt_mob649e8167c4a3的技术博客_

1 月前

腼腆的皮带 · 少爷和我，阿拉贡x佛罗多cp名拉布拉多_哔哩哔哩_bilibili

4 月前

勤奋的铁链 · 华东电力设计院有限公司2024年校园招聘公告- 上海本地宝

5 月前

可爱的红烧肉 · 原神同人黄禁3D漫画网站_素材网站_图片免费下载-ZCOOL站酷

7 月前

打酱油的猴子 · 我上海人，25岁悉尼留学，回国后成旅游定制师，旅游挣钱两不误|旅行|机票|尼泊尔|上海市_网易订阅

8 月前

有情有义的蟠桃 · 潘甜甜的个人主页-西瓜视频

1 年前