相关文章推荐
玉树临风的山羊  ·  Edgedriver 88.0.685.3 ...·  1 周前    · 
腹黑的鸵鸟  ·  java ...·  1 周前    · 
安静的海豚  ·  browsermobproxy ...·  1 周前    · 
傻傻的大脸猫  ·  Android ...·  1 年前    · 
调皮的小笼包  ·  Android: ...·  1 年前    · 
兴奋的开水瓶  ·  appharbor: ...·  1 年前    · 

原文地址: http://www.spiderpy.cn/blog/detail/36

因为Webdriver每次实例化都会新开一个全新的浏览器会话,在有些情况下需要复用之前打开未关闭的会话。比如爬虫,希望结束脚本时,让浏览器处于空闲状态。当脚本重新运行时,它将继续使用这个会话工作。还就是在做自动化测试时,前面做了一大推操作,但是由于程序出错,重启时不用再继续前面复杂的操作。

个人觉得这种功能非常有用,但是官方居然没有提供这种功能的API,苦苦搜搜,在网上找了两个java版的http://blog.csdn.net/wwwqjpcom/article/details/51232302 和 http://woxiangbo.iteye.com/blog/2372683 看了下源码其实java和python的驱动原理过程都非常相似。

打开一个Chrome会话:

from selenium import webdriver
driver = webdriver.Chrome()

运行上面的脚本,它将启动浏览器并退出。因为没有调用quit()方法,所以浏览器会话仍会存在。但是代码里创建的driver对象已经不在了,理论上不能用脚本控制这个浏览器。它将变成一个僵尸浏览器,只能手动杀死它。

通过webdriver启动一个浏览器会话大概会有这样三个阶段:

  • 1、启动的浏览器驱动代理(hromedriver,Firefox的驱动程序,等等);
  • 2、创建一个命令执行器。用来向代理发送操作命令;
  • 3、使用代理建立一个新的浏览器会话,该代理将与浏览器进行通信。用sessionId来标识会话。

因此只要拿到阶段2中的执行器和阶段3中的sessionID就能恢复上次的会话。这两个有api可以直接获取:

from selenium import webdriver
driver = webdriver.Chrome()
executor_url = driver.command_executor._url
session_id = driver.session_id
print(session_id)
print(executor_url)
driver.get("http://www.spiderpy.cn/")

得到类似这样的输出(第一个是会话的sessionId,第二个就是命令执行器连接):

397d725f042a076f7d4a82f7d3fead13
http://127.0.0.1:52869

一切就绪,下面就开始实现复用之前会话的功能,在Stack Overflow上面讲的实现是这样的:

from selenium import webdriver
driver = webdriver.Chrome()
executor_url = driver.command_executor._url
session_id = driver.session_id
driver.get("http://www.spiderpy.cn/")
print(session_id)
print(executor_url)
driver2 = webdriver.Remote(command_executor=executor_url, desired_capabilities={})
driver2.session_id = session_id
print(driver2.current_url)

可能是因为版本原因吧,反正在我环境中运行时,效果是实现了,能够重新连接到上一个会话,但是却打开了一个新的空白会话。看了下Remote类的源码,发现是因为每次实例化都会调用start_session这个方法新建一个会话。所以解决方法就是继承并重写这个类。自定义一个ReuseChrome这个类重写start_session方法使它不再新建session,使用传入的session_id:

from selenium.webdriver import Remote
from selenium.webdriver.chrome import options
from selenium.common.exceptions import InvalidArgumentException
class ReuseChrome(Remote):
    def __init__(self, command_executor, session_id):
        self.r_session_id = session_id
        Remote.__init__(self, command_executor=command_executor, desired_capabilities={})
    def start_session(self, capabilities, browser_profile=None):
        重写start_session方法
        if not isinstance(capabilities, dict):
            raise InvalidArgumentException("Capabilities must be a dictionary")
        if browser_profile:
            if "moz:firefoxOptions" in capabilities:
                capabilities["moz:firefoxOptions"]["profile"] = browser_profile.encoded
            else:
                capabilities.update({'firefox_profile': browser_profile.encoded})
        self.capabilities = options.Options().to_capabilities()
        self.session_id = self.r_session_id
        self.w3c = False

然后在第二次连接是使用重写的ReuseChrome类:

from selenium import webdriver
#  第一次使用Chrome() 新建浏览器会话
driver = webdriver.Chrome()
# 记录 executor_url 和 session_id 以便复用session
executor_url = driver.command_executor._url
session_id = driver.session_id
# 访问百度
driver.get("http://www.spiderpy.cn/")
print(session_id)
print(executor_url)
# 假如driver对象不存在,但浏览器未关闭
del driver
# 使用ReuseChrome()复用上次的session
driver2 = ReuseChrome(command_executor=executor_url, session_id=session_id)
# 打印current_url为百度的地址,说明复用成功
print(driver2.current_url)
driver2.get("https://www.baidu.com")

这样就能顺利连接到上次没关闭的浏览器会话。

原文地址:http://www.spiderpy.cn/blog/detail/36因为Webdriver每次实例化都会新开一个全新的浏览器会话,在有些情况下需要复用之前打开未关闭的会话。比如爬虫,希望结束脚本时,让浏览器处于空闲状态。当脚本重新运行时,它将继续使用这个会话工作。还就是在做自动化测试时,前面做了一大推操作,但是由于程序出错,重启时不用再继续前面复杂的操作。个人觉得这种功能非...
目录一、为什么要复用浏览器二、复用浏览器的前提设置三、复用浏览器的代码四、例子-复用浏览器获取登录的cookie 一、为什么要复用浏览器 自动化测试中我们经常会遇到这样的问题,前面测试已经执行 二、复用浏览器的前提设置 三、复用浏览器的代码 四、例子-复用浏览器获取登录的cookie
大家好,我是安果!在对某些网站进行爬虫时,如果该网站做了限制,必须完成登录才能展示数据,而且只能通过短信验证码才能登录这时候,我们可以通过一个已经开启的浏览器完成登录,然后利用程序继续操作这个浏览器,即可以完成数据的爬取了具体操作步骤如下:1-1 安装依赖#安装依赖 pip3installselenium1-2 Chrome 应用完整路径右键查看 Chrome 浏览器的完整路径比如:C:...
自动化测试的时候为了避免每个case均需要登录的操作,所以把登录后的cookie信息保存下来,在有效期内使用cookie的方式实现登录操作,为了避免展现太多的登录操作,需要通过设置浏览器的option来改变是否可视化;   最早采用phantomjs方式来实现,但是在使用phantomjs时候提示浏览器已经自带属性,所以我们这里不需要再使用phantomjs来实现无界面操作,这个时...
什么是selenium selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)。 Seleni
为了重复使用一个已经打开浏览器,可以根据executor_url和session_id来重新获取浏览器的控制权。 开启远程Hub服务 下载jar包:https://www.seleniumhq.org/download/ java -jar selenium-server-standalone-3.141.59.jar 运行测试脚本: from selenium import webd...
DeprecationWarning: use options instead of chrome_options cls.driver = webdriver.Chrome(executable_path=driver_path,chrome_options=chrome_options) **解决方案: 将如下图的chrome_options参数改为options即可: **原因: 1、依据错误提示查看源码: if chr...
1. 背景 在使用selenium浏览器渲染技术,爬取网站信息时,默认情况下就是一个普通的纯净的chrome浏览器,而我们平时在使用浏览器时,经常就添加一些插件,扩展,代理之类的应用。相对应的,当我们用chrome浏览器爬取网站时,可能需要对这个chrome做一些特殊的配置,以满足爬虫的行为。 常用的行为有: 禁止图片和视频的加载:提升网页加载速度。 添加代理:用于翻墙访问某些页面,或者...
参数是在定义driver的时候设置,是一个Options类所实例化的对象。 参数是设置浏览器是否可视化(加快代码运行速度)和浏览器的请求头(防止网站的反爬虫检测)等信息。 from selenium import webdriver # 导入Options类 from selenium.webdriver.chrome.options impor.
前几天有同学问到selenium是怎么样启动浏览器的(selenium启动浏览器的原理),当时稍微讲解了一下,不过自我感觉不够具体,现在特地把启动原理通过代码和一系列操作给串联起来,希望可以帮助大家更好的理解。 以chrome浏览器为例,selenium启动chrome浏览器的代码如下: def __init__(self, executable_path="chromedriver", ...
```python driver = webdriver.Remote(command_executor=executor_url, desired_capabilities={}, options=options) driver.session_id = session_id 其中,`options`是可选的,用于设置Edge浏览器的选项,例如设置启动时的页面大小、禁止加载图片等。 完整代码如下: ```python from selenium import webdriver # 打开Edge浏览器 driver = webdriver.Edge() # 获取session_id和executor_url session_id = driver.session_id executor_url = driver.command_executor._url # 关闭当前打开浏览器 driver.close() # 连接已经打开浏览器 options = webdriver.EdgeOptions() driver = webdriver.Remote(command_executor=executor_url, desired_capabilities={}, options=options) driver.session_id = session_id # 以连接状态使用Edge浏览器进行操作 driver.get('https://www.baidu.com') 注意:使用`selenium attach_to_edge()`方法连接已经打开浏览器时,浏览器版本与驱动程序版本必须匹配,否则可能会出现兼容性问题。