代码操作非常快--->有的标签还没加载--->找就找不到--->就会报错

# 1 隐士等待
bro.implicitly_wait(10) # 设置隐士等待---》我们在find_element 找标签时候，标签有可能还没加载出来---》而代码执行非常快---》取不到标签就会报错
#加了这一句---》当咱们取标签的时候，如果标签，没加载好---》等待最多10s---》等标签加载出来后--》找到了继续往后走
# 2 显示等待---》不好用
-每找一个标签，都要给它设置一次等待---》太麻烦了
-这种忽略，不用它即可
二 selenium元素操作
# 点击操作
	click()
# 写文字
	send_keys("内容")
# 清空文字
	clear()
三 执行js
# 在使用selenium操作浏览器的时候，可以自己写js执行，会用这东西做什么？
    -创建新的选项卡
    -打印出一些变量（属于当前爬取的页面中的变量）
    -获取当前登录的cookie
    -滑动屏幕
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
bro = webdriver.Chrome()
bro.get('https://www.pearvideo.com/category_1')
bro.implicitly_wait(10)
bro.maximize_window()
# 1.基本使用
# bro.execute_script('alert("美女")')
# 2.打印一些变量
# res=bro.execute_script('console.log(urlMap)')
# print(res)  拿不出来，只能在控制台打印看看
# 3.新建选项卡
# bro.execute_script('open()')
# 4.滑动屏幕---滑动页面的高度
# bro.execute_script('scrollTo(0,document.documentElement.scrollHeight)')
# 5.获取当前访问地址
# bro.execute_script('alter(location)')
# bro.execute_script('location="http://www.baidu.com"')
# 6.获取当前页面的cookie,打印出来
# bro.execute_script('console.log(document.cookie)')
time.sleep(3)
bro.close()  # 关闭浏览器
四 切换选项卡
from selenium import webdriver
import time
bro = webdriver.Chrome()
bro.get('https://www.pearvideo.com/')
bro.implicitly_wait(10)
print(bro.window_handles)
# 开启选项卡
bro.execute_script('window.open()')
# 获取出所有选项卡
bro.switch_to.window(bro.window_handles[1]) # 切换到某个选项卡
bro.get('http://www.taobao.com')
time.sleep(2)
bro.switch_to.window(bro.window_handles[0]) # 切换到某个选项卡
bro.get('http://www.baidu.com')
time.sleep(2)
bro.execute_script('window.open()')
bro.execute_script('window.open()')
bro.close() # 关闭选项卡，浏览器不会关闭
bro.quit()  # 关闭页面
五 前进后退异常处理
from selenium import webdriver
import time
bro = webdriver.Chrome()
bro.get('https://www.pearvideo.com/')
bro.implicitly_wait(10)
time.sleep(2)
bro.get('http://www.taobao.com')
time.sleep(2)
bro.get('http://www.baidu.com')
bro.back()
time.sleep(2)
bro.back()
time.sleep(2)
bro.forward()
time.sleep(2)
bro.quit()# 关闭浏览器
六 登录cnblogs
  以后要爬取的数据，要登录后才能看到
  -如果使用selenium，速度慢--->不能开启多线程--->速度不会太快
  -如果使用requests发送请求，登录不好登录，自动登录不进去--->拿不到cookie
  -使用selenium登录--->拿到cookie--->换到别的机器，使用这个cookie，依然是登录状态
6.1 登录cnblogs
import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import json
from selenium.webdriver.common.by import By
# 去掉自动化软件控制的检测
options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")  # 去掉自动化控制
bro = webdriver.Chrome(options=options)
# bro = webdriver.Chrome()
########### 纯自动登录#######得到了cookie
bro.get('https://www.cnblogs.com/')
bro.implicitly_wait(10)
bro.maximize_window()
login_btn = bro.find_element(By.LINK_TEXT, '登录')
login_btn.click()
time.sleep(2)
# 找到用户名和密码输入框
username = bro.find_element(By.CSS_SELECTOR, '#mat-input-0')
password = bro.find_element(By.ID, 'mat-input-1')
submit_btn = bro.find_element(By.CSS_SELECTOR,
                              'body > app-root > app-sign-in-layout > div > div > app-sign-in > app-content-container > div > div > div > form > div > button')
# 验证码
code=bro.find_element(By.ID,'rectMask')
time.sleep(1)
username.send_keys('@qq.com')
time.sleep(1)
password.send_keys('#')
time.sleep(1)
submit_btn.click()  # 一种情况直接登录成功   一种情况会弹出验证码
code.click()
time.sleep(10)
# 让程序先停在这---》手动操作浏览器---》把验证码搞好---》程序再继续往下走
# 到现在，是登录成功的状态
# 取出cookie存起来
cookies = bro.get_cookies()
with open('cnblogs.json', 'w', encoding='utf-8') as f:
    json.dump(cookies, f)
time.sleep(2)
bro.close()
6.2 获取登录的cookie——自动登录
import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import json
from selenium.webdriver.common.by import By
# 去掉自动化软件控制的检测
options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")  # 去掉自动化控制
bro = webdriver.Chrome(options=options)
bro.get('https://www.cnblogs.com/')
bro.implicitly_wait(10)
bro.maximize_window()
time.sleep(5)
# 取出cookie--》写入到浏览器中---》刷新浏览器---》登录状态
with open('cnblogs.json', 'r') as f:
    cookies = json.load(f)
# 写到浏览器中
for item in cookies:
    bro.add_cookie(item) # 如果是没登录的cookie，往里写会报错
# 刷新浏览器
bro.refresh()
time.sleep(5)
bro.close()
七 抽屉半自动点赞
1. 使用selenium登录--->拿到cookie
2. 点赞 使用requests 用cookie点赞
#### 1.自动登录---使用selenium####
import json
# import time
# from selenium import webdriver
# from selenium.webdriver.chrome.options import Options
# import json
# from selenium.webdriver.common.by import By
# bro = webdriver.Chrome()
# bro.get('https://dig.chouti.com/')
# bro.implicitly_wait(10)
# bro.maximize_window()
# btn_login = bro.find_element(By.ID, 'login_btn')
# time.sleep(1)
# btn_login.click()
# time.sleep(1)
# phone = bro.find_element(By.NAME, 'phone')
# password = bro.find_element(By.CSS_SELECTOR,
#                             'body > div.login-dialog.dialog.animated2.scaleIn > div > div.login-footer > div.form-item.login-item.clearfix.mt24 > div > input.input.pwd-input.pwd-input-active.pwd-password-input')
# submit_login = bro.find_element(By.CSS_SELECTOR,
#                                 'body > div.login-dialog.dialog.animated2.scaleIn > div > div.login-footer > div:nth-child(4) > button')
# phone.send_keys('18953675221')
# password.send_keys('lqz123')
# time.sleep(2)
# submit_login.click()
# input('等你')
# cookies = bro.get_cookies()
# with open('chouti.json', 'w', encoding='utf-8') as f:
#     json.dump(cookies, f)
# time.sleep(2)
# bro.close()
#### 使用requests点赞
# 访问首页，解析出id号
import requests
from bs4 import BeautifulSoup
#### 携带cookie访问#####
session = requests.Session()
cookie = {}  # 本地取出来，写入
with open('chouti.json', 'r') as f:
    cookie_list = json.load(f)
##### selenium的cookie和requests的cookie格式不一样，要转换   {key:value,key:value}
for item in cookie_list:
    cookie[item['name']] = item['value']
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'}
res = session.get('https://dig.chouti.com/', cookies=cookie,headers=header)
soup = BeautifulSoup(res.text, 'html.parser')
print(res.text)
divs = soup.find_all(name='div', class_='link-item')
for div in divs:
    article_id = div.attrs.get('data-id')
    data = {
        'linkId': article_id
    res1 = session.post('https://dig.chouti.com/link/vote', data=data,headers=header)
    print(res1.text)
八 xpath
在 xml中查找元素，解析库
解析库自带的
css选择器
xpath---通用的
即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言
	nodename	选取此节点的所有子节点。
    /	        从根节点选取。
    //	        从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
    .	        选取当前节点。
    ..	        选取当前节点的父节点。
    @	        选取属性。
doc = '''
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
  <div id='images'>
   <a href='image1.html' id='lqz'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html' class='li li-item' name='items'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
   <a href='image6.html' name='items'><span><h5>test</h5></span>Name: My image 6 <br /><img src='image6_thumb.jpg' /></a>
 </body>
</html>
from lxml import etree
# 将需要解析的字符串放在这
html = etree.HTML(doc)
# html=etree.parse('search.html',etree.HTMLParser())
# 1 所有节点---任意路径下的任意标签
# a=html.xpath('//*')
# 2 指定节点（结果为列表）
# a=html.xpath('//head')
# 3 子节点，子孙节点
# a=html.xpath('//div/a') # 任意路径div下的a标签
# a=html.xpath('//body/a') # 任意路径body下的a标签，无数据
# a=html.xpath('//body//a') # 任意路径body任意路径下的a标签
# 4 父节点
# a=html.xpath('//body//a[@href="image1.html"]/..')  任意路径下a标签的href属性为image1.html的父标签
# a=html.xpath('//body//a[1]/..')
# 也可以这样
# a=html.xpath('//body//a[1]/parent::*') 匹配到的所有父标签
# a=html.xpath('//body//a[1]/parent::div') 父标签必须为div
# 5 属性匹配
# a=html.xpath('//body//a[@href="image1.html"]')
# 6 文本获取     /text()
# a=html.xpath('//body//a[@href="image1.html"]/text()')
# 7 属性获取     @属性名
# a=html.xpath('//body//a/@href')
# # 注意从1 开始取（不是从0）
# a=html.xpath('//body//a[1]/@href')
# 8 属性多值匹配
#  a 标签有多个class类，直接匹配就不可以了，需要用contains
# a=html.xpath('//body//a[@class="li"]')
# a=html.xpath('//body//a[contains(@class,"li")]')
# a=html.xpath('//body//a[contains(@class,"li")]/text()')
# 9 多属性匹配
# a=html.xpath('//body//a[contains(@class,"li") or @name="items"]')
# a=html.xpath('//body//a[contains(@class,"li") and @name="items"]/text()')
# a=html.xpath('//body//a[contains(@class,"li")]/text()')
# 10 按序选择
# a=html.xpath('//a[2]/text()')
# a=html.xpath('//a[2]/@href')
# 取最后一个
# a=html.xpath('//a[last()]/@href')
# a=html.xpath('//a[last()-1]/@href') # 倒数第二个
# 位置小于3的
# a = html.xpath('//a[position()<3]/@href')
# 倒数第三个
# a=html.xpath('//a[last()-2]/@href')
# 11 节点轴选择
# ancestor：祖先节点
# 使用了* 获取所有祖先节点
# a=html.xpath('//a/ancestor::*')
# # 获取祖先节点中的div
# a=html.xpath('//a/ancestor::div')
# attribute：属性值
# a=html.xpath('//a[1]/attribute::*')
# a=html.xpath('//a[1]/attribute::href')
# child：直接子节点
# a=html.xpath('//a[1]/child::*')
# descendant：所有子孙节点
# a=html.xpath('//a[6]/descendant::*')
# following:当前节点之后所有节点
# a=html.xpath('//a[1]/following::*')
# a=html.xpath('//a[1]/following::*[1]/@href')
# following-sibling:当前节点之后同级节点
# a=html.xpath('//a[1]/following-sibling::*')
# a=html.xpath('//a[1]/following-sibling::a')
# a=html.xpath('//a[1]/following-sibling::*[2]')
# a=html.xpath('//a[1]/following-sibling::*[2]/@href')
# print(a)
/     当前标签下的子
//    当前标签下的子子孙孙
.     当前
..    往上一层
取文本  /text()
取属性  /@属性名
根据属性过滤  [@属性名=属性值]
class 特殊
[contains(@class,"li")]
import requests
res=requests.get('https://www.w3school.com.cn/xpath/xpath_syntax.asp')
from lxml import etree
html = etree.HTML(res.text)
# a=html.xpath('//div[@id="intro"]//strong/text()')
# a=html.xpath('/html/body/div/div[4]/div[2]/p/strong')
a=html.xpath('//*[@id="intro"]/p/strong/text()')
print(a)
九 动作链
模拟鼠标点住，拖动的效果，实现滑块认证
        拿到actions对象后，对象有很多方法
        1 把标签1 拖动到标签2上
            actions.drag_and_drop(标签1,标签2) 
        2 一点点滑动某个标签
            actions.click_and_hold(标签1).perform()
            actions.move_by_offset(x,y) # 把标签1 滑动x轴和y轴的距离
        3 滑动某个标签，一些距离
            actions.drag_and_drop_by_offset(标签1,x,y)
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.support.wait import WebDriverWait  # 等待页面加载某些元素
import time
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
driver.implicitly_wait(3)
driver.maximize_window()
    driver.switch_to.frame('iframeResult')  ##切换到iframeResult
    sourse = driver.find_element(By.ID, 'draggable')
    target = driver.find_element(By.ID, 'droppable')
    # 方式一：基于同一个动作链串行执行
    # actions = ActionChains(driver)  # 拿到动作链对象
    # actions.drag_and_drop(sourse, target)  # 把动作放到动作链中，准备串行执行
    # actions.perform()
    # 方式二：不同的动作链，每次移动的位移都不同
    ActionChains(driver).click_and_hold(sourse).perform()  # 鼠标点中源 标签 不松开
    distance=target.location['x']-sourse.location['x']
    track = 0
    while track < distance:
        ActionChains(driver).move_by_offset(xoffset=10, yoffset=0).perform()
        track += 10
    ActionChains(driver).release().perform()
    # 方式三：
    # actions = ActionChains(driver)
    # actions.drag_and_drop_by_offset(sourse,200,0).perform()
    time.sleep(5)
finally:
    driver.close()
十 自动登录12306
import time
from selenium.webdriver import ActionChains
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
# 12306检测到咱们用了自动化测试软件，
options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")  # 去掉自动化控制
bro = webdriver.Chrome(chrome_options=options)
bro.get('https://kyfw.12306.cn/otn/resources/login.html')
bro.implicitly_wait(5)
bro.maximize_window()
user_login = bro.find_element(By.CSS_SELECTOR,
                              '#toolbar_Div > div.login-panel > div.login-box > ul > li.login-hd-code.active > a')
user_login.click()
time.sleep(1)
username = bro.find_element(By.ID, 'J-userName')
password = bro.find_element(By.ID, 'J-password')
submit_btn = bro.find_element(By.ID, 'J-login')
username.send_keys('')
password.send_keys('')
time.sleep(3)
submit_btn.click()
time.sleep(5)
# 找到滑块
span = bro.find_element(By.ID, 'nc_1_n1z')
ActionChains(bro).click_and_hold(span).perform()
ActionChains(bro).move_by_offset(xoffset=300, yoffset=0).perform()
ActionChains(bro).release().perform()
time.sleep(5)
bro.close()
十一 打码平台
# 网站有验证码，验证码破解
    -简单验证码：字母数字组合---》免费的就能破---》ddddocr
    -https://www.jb51.net/article/249636.htm
    -复杂的：收费---》打码平台--》花钱帮我们破解验证码
    	把验证码图片传给它--->它识别完--》返回结果---》根据复杂度收费
1.基本测试
class Chaojiying_Client(object):
    def __init__(self, username, password, soft_id):
        self.username = username
        password = password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
    def PostPic(self, im, codetype):
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        params = {
            'codetype': codetype,
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files,
                          headers=self.headers)
        return r.json()
    def PostPic_base64(self, base64_str, codetype):
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        params = {
            'codetype': codetype,
            'file_base64': base64_str
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, headers=self.headers)
        return r.json()
    def ReportError(self, im_id):
        im_id:报错题目的图片ID
        params = {
            'id': im_id,
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()
if __name__ == '__main__':
    chaojiying = Chaojiying_Client(账号, 密码, 软件id)  # 用户中心>>软件ID 生成
    im = open('code.png', 'rb').read()  # 本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    print(chaojiying.PostPic(im, 1902))  # 1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
    # print chaojiying.PostPic(base64_str, 1902)  #此处为传入 base64代码
2.案例——自动登录超级鹰
import time
from selenium.webdriver.common.by import By
from selenium import webdriver
from PIL import Image
from chaojiying import Chaojiying_Client
bro = webdriver.Chrome()
bro.get('https://www.chaojiying.com/user/login/')
bro.implicitly_wait(10)
bro.maximize_window()
# 1  截图屏幕
bro.save_screenshot('main.png')
# 2 找到用户名，密码，验证码输入框
username = bro.find_element(By.CSS_SELECTOR,
                            'body > div.wrapper_danye > div > div.content_login > div.login_form > form > p.login_form_item > input')
password = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/p[2]/input')
code = bro.find_element(By.CSS_SELECTOR,
                        'body > div.wrapper_danye > div > div.content_login > div.login_form > form > p:nth-child(4) > input')
# 3 输入用户名，输入密码
username.send_keys('306334678')
password.send_keys('lqz123')
# 4 破解验证码---》从截图中，截取出验证码
img = bro.find_element(By.CSS_SELECTOR,
                       'body > div.wrapper_danye > div > div.content_login > div.login_form > form > div > img')
# 使用pillow---》根据坐标，扣除 验证码图片
# 找到img的大小和位置
location = img.location
size = img.size
print('大小是：', img.size)
print('位置是：', img.location)
# 获取图的 起始位置坐标  结束位置坐标
img_tu = (
    int(location['x']), int(location['y']), int(location['x'] + size['width']), int(location['y'] + size['height']))
# 使用pillow截图
# #打开
img = Image.open('./main.png')
fram = img.crop(img_tu)
# 截出来的小图
fram.save('code1.png')
### 方式一 调用超级鹰识别
# chaojiying = Chaojiying_Client(账号, 密码, 软件id) # 用户中心>>软件ID 生成一个替换 96001
# im = open('code1.png', 'rb').read()  # 本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
# real_code = chaojiying.PostPic(im, 1902)['pic_str']  # 1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
###方式二 使用ddddocr试试
import ddddocr
ocr = ddddocr.DdddOcr(old=True,show_ad=False)
# 第一个验证截图保存：verification_code_1.png
with open("./code1.png", 'rb') as f:
    image = f.read()
real_code = ocr.classification(image)
code.send_keys(real_code)
time.sleep(5)
# 找到登录按钮，登录
submit = bro.find_element(By.CSS_SELECTOR,
                          'body > div.wrapper_danye > div > div.content_login > div.login_form > form > p:nth-child(5) > input')
submit.click()
time.sleep(10)
bro.close()