一、Requests简介：
requests 是用 Python 语言编写的、优雅而简单的 HTTP 库
requests 内部采用来 urillib3
需要爬虫可以使用该工具模块
requests 发送一个 GET 请求，需要在 URL 里请求的参数可通过 params 传递
requests 发送一个 POST 请求，新增了一个可选参数 data，需要通过 POST 请求传递 body 里的数据可以通过 data 传递
二、Requests常用函数：
关键字 / 函数 / 方法
三、请求参数：
当访问一个 URL 时，我们经常需要发送一些查询的字段作为过滤信息，例如：httpbin.com/get?key=val，这里的 key=val 就是限定返回条件的参数键值对
当利用 python 的 requests 去发送一个需要包含这些参数键值对时，可以将它们传给params
还可以通过headers参数，模拟真实用户访问，绕过反爬虫机制
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'
url = 'https://www.baidu.com/s?'
# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}
# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw)
print(response.text)
四、案例练习：（下载网页源代码，并下载全部图片素材）
下载新浪首页图片
import os.path
import re
import threading
import requests
# 下载资源函数
def download(url, file_name):
response = requests.get(url)
with open(file_name, mode="wb") as fw:
# 写入到指定文件中
fw.write(response.content)
# 获取url列表（图片）
# 1.读取网页文件内容
# 2.匹配url正则
# 3.保存匹配结果到列表中
# 4.返回列表
def get_url(file_name, re_str):
with open(file_name, mode="r") as fr:
regular_obj = re.compile(re_str)
url_list = []
while True:
line_data = fr.readline()
if len(line_data) == 0:
break
result = regular_obj.search(line_data)
if result is not None:
url_list.append(result.group())
return url_list
if __name__ == '__main__':
# 网页文件下载地址 图片存放地址
html_file, pic_dir = "/opt/my_html.html", "/tmp/images/"
# 指定下载url，可以动态变换
url_html = "https://www.sinaxxxx.com.cn"
# 文件不存在则下载
if not os.path.exists(url_html):
# 下载网页资源
download(url_html, html_file)
# 目录不存在则创建
if not os.path.exists(pic_dir):
os.makedirs(pic_dir)
# 图片路径的正则判断
pic_re = "(http|https)://[\w\./-]+\.(jpg|png|jepg|gif)"
# 获取图片资源
list_image = get_url(html_file, pic_re)
# 下载图片素材到 /tmp/images
for url_image in list_image:
f_name = url_image.split("/")[-1]
print(f_name)
# 异步下载资源
