r = requests.get(url
,
timeout
=
30
)
r.raise_for_status()
r.encoding = r.apparent_encoding
return
r.text
except
:
之前爬爬taobao.com都是管用的，但这次就异常了。
把 r 输出，报【403】，也就是说服务器拒绝访问了。
也就是说服务器不允许一些客服端的访问，毕竟他们的robots协议也是这么说的：
这种情况下，应该让爬虫模拟成一个浏览器的方式访问就不会被发现啦。
二：增加headers，模拟浏览器访问
def getHtmlList(url):
try:
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/51.0.2704.63 Safari/537.36'}
r = requests.get(url, headers = headers, timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
**因为上周末医院的不爽之旅，第一次体会到医生与患者间高度信息不对等，也开始理解总会爆发的医患关系。
当然我还是尊重医生的，只是觉的后面跟医生交流时，应该增加自己对病理的了解，提高与医生交流时信息平等。**
**爬虫小白准备自己写一段爬取在线医疗咨询平台患者咨询案例，用于辅助对病理的理解。**
【疑惑】：使用
python
的
requests
库
发起get或post请求返回
403
代码错误，使用postman发起请求发现状态码竟然成功了。首先排除ip
问题
，ip有
问题
的话postman也访问不了。难道是headers出现了
问题
吗，通过对比发现也不是headers的
问题
。【解疑】：其实遇到这种情况大概率是遇到了“原生模拟浏览器 TLS/JA3 指纹的验证”，浏览器和postman都有自带指纹验证，而唯独
requests
库
没有。这就让反爬有了区分人为和
爬虫
的突破口。2、使用 pyhttpx
库
。
base_path = os.path.dirname(os.path.dirname(__file__)) # 项目基本路径
case_path = os.path.join(base_path, 'case') # 测试脚本所在目录
data_path .
大家好，我自以为自学了一点
爬虫
就了不起了，没想到它给了我当头一棒。
403
状态码可以简单的理解为没有权限访问此站。该状态表示服务器理解了本次请求但是拒绝执行该任务.这就是绝对多数网站的。那我们简单了解一下。前两种比较容易遇到，大多数网站都从这些角度来反
爬虫
。第三种一些应用ajax的网站会采用，这样增大了爬取的难度，防止静态
爬虫
使用ajax技术动态加载页面。
Pycharm 2018.1,
Python
3.6, 通过Pycharm的File->Settings->Plugins搜索
Requests
安装上去。import
requests
r =
requests
.get(这段代码尝试访问雪球网站，结果会返回
403
错误代码表示forbidden。因为没加上http请求header，估计时雪球网站有一定的反
爬虫
策略。于是我构造了一个如下的hea...
最近在爬stockx交易数据的时候遇到了很严格的反爬。在上了随机header和ip pool的情况下，爬几十个页面就被PerimeterX的验证拦下了，（
403
Please verify you are a human），然后就是无论怎么换都一直
403
。用selenium+优化过的driver确实可行，但是速度实在是太慢了，而且pose data的时候不太方便，因此还是想用
requests
库
看能不能绕过反爬。花了一些时间终于弄明白了他们的反爬机制，所以写一篇文章记录一下。
经过多次测试，我发现Stockx
使用
requests
包建立访问时，正常的访问状态会返回状态代码200，但是在爬一些网站时，经常会返回
403
（众所周知的404代表的是网站disappear了。而
403
代表我们当前的IP被forbidden了）。这是因为在短时间内直接使用Get获取大量数据，会被服务器认为在对它进行攻击，所以拒绝我们的请求，自动把电脑IP封了。
因此，这里介绍两种解决办法。
方案一、请求页面的是添加headers
我们平时使用浏览器下载的图片或者是文
比如canvas这个图片网站，
import
requests
weburl = "https://www.canva.cn/_ajax/marketplace2/media/MADVhltOAvg?version=1&qualities=PRINT"
webheader = {
'referer': 'https://www.canva.com/',
'Accept': 'text/html, application/xhtml+xml,
200：正确的请求返回正确的结果
201：表示资源被正确的创建。比如说，我们 POST 用户名、密码正确创建了一个用户就可以返回 201。
202：请求是正确的，但是结果正在处理中，这时候客户端可以通过轮询等机制继续请求。
3xx(已重定向)
300：请求成功，但结果有多种选择。
301：请求成功，但是资源被永久转移。
303：使用 GET 来访问新的地址来获
在此，非常感谢 “完美风暴4” 的无私共享经验的精神在
Python
爬虫
爬取网站时，莫名遇到 浏览器中General显示Status Code:304 NOT MODIFIED而在
requests
请求...
