image

摄影: 产品经理 产品经理的三文鱼炒饭

《一日一技:如何正确移除Selenium中window.navigator.webdriver的值》 一文中,我们介绍了在当时能够正确从Selenium启动的Chrome浏览器中移除 window.navigator.webdriver 的方法。

后来时过境迁,Chrome升级了版本,导致当时的方法已经失效。如下图所示:

image

针对最新版本的Chrome,我们应该如何正确隐藏这个参数呢?

在那篇文章里面,我骂了一种掩耳盗铃的方式:

打开网页,然后通过执行如下 JavaScript 语句来隐藏 window.navigator.webdriver 的值:

Object.defineProperty(navigator, 'webdriver', {
      get: () =>undefined
    })

我骂了这种方式为掩耳盗铃,是因为他们是在网页已经加载完毕以后才运行这段 JavaScript 代码的,可此时网站自身的 js 程序早就已经通过读取 window.navigator.webdriver 知道你现在使用模拟浏览器,你隐藏了又有什么用呢?

所以即使要执行这段 JavaScript 语句,也应该是在浏览器运行网站自带的所有 JavaScript 之前。

这也就是我们现在的方案。

可能有读者会认为,是不是通过写 Chrome 浏览器的插件,让插件里面的 JavaScript 语句在网站页面刚刚打开,还没有运行自带的 JavaScript 之前运行。

这种方式虽然可以解决问题,但稍显麻烦,我们今天的方法非常简单。就是使用 Google 的 Chrome Devtools-Protocol(Chrome 开发工具协议) 简称 CDP

我们打开 CPD 的官方文档 [1] ,可以看到如下的命令:

image

在每个Frame 刚刚打开,还没有运行 Frame 的脚本前,运行给定的脚本。

通过这个命令,我们可以给定一段 JavaScript 代码,让 Chrome 刚刚打开每一个页面,还没有运行网站自带的 JavaScript 代码时,就先执行我们给定的这段代码。

那么如何在 Selenium 中调用 CDP 的命令呢?实际上非常简单,我们使用 driver.execute_cdp_cmd 。根据 Selenium 的 官方文档 [2] ,传入需要调用的 CDP 命令和参数即可:

image

于是我们可以写出如下代码:

from selenium.webdriver import Chrome
driver = Chrome('./chromedriver')
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
driver.get('http://exercise.kingname.info')

运行效果如下图所示:


image

完美隐藏 window.navigator.webdriver 。并且,关键语句:

driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
})

只需要执行一次,之后只要你不关闭这个 driver 开启的窗口,无论你打开多少个网址,他都会自动提前在网站自带的所有 js 之前执行这个语句,隐藏 window.navigator.webdriver

如果有人运行上面的代码,出现如下报错:

image

那么请升级你的 ChromeDriver。老版本的 Chrome + ChromeDriver 只能用以前的方法,不能用今天的方法。新版本的 Chrome + ChromeDriver 可以使用今天的方法,但不能用老方法。正应了那句话:

上帝给你关上一扇门的时候,悄悄为你开了一扇窗。

虽然使用以上代码就可以达到目的了,不过为了实现更好的隐藏效果,大家也可以继续加入两个实验选项:

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=options, executable_path='./chromedriver')
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
driver.get('http://exercise.kingname.info')

公众号粉丝突破50000时,解锁 Pyppeteer 最新隐藏 window.nativator.webdriver 的方法。


(最新版)如何正确移除 Pyppeteer 中的window.navigator.webdriver
(最新版)如何正确移除 Pyppeteer 中的window.navigator.webdriver
一日一技:如何正确移除Selenium中window.navigator.webdriver的值
一日一技:如何正确移除Selenium中window.navigator.webdriver的值
html页面和Chrome开发者工具elements界面不一致的一个可能原因:没有在Chrome开发者工具里打开对Shadow DOM显示的支持
html页面和Chrome开发者工具elements界面不一致的一个可能原因:没有在Chrome开发者工具里打开对Shadow DOM显示的支持