image

摄影:产品经理 厨师:kingname

(文末福利)在我以前的一篇文章: 一日一技:如何正确移除Selenium中window.navigator.webdriver的值 ,我讲到了如何在Selenium启动的Chrome中,通过设置启动参数隐藏 window.navigator.webdriver ,驳斥了网上垃圾文章中流传的使用JavaScript注入的弊端。

由于Selenium启动的Chrome中,有几十个特征可以被识别,所以在爬虫界已经没有以前那么受欢迎了。模拟浏览器的新秀Puppeteer异军突起,逐渐受到了爬虫界的关注。Puppeteer需要使用JavaScript来控制,如果你是用Python,那么就需要使用Pyppeteer.

如果你使用模拟浏览器爬淘宝,你会发现,无论怎么修改参数,Selenium总是可以立刻被识别。但是如果你使用了本文的方法,用Pyppeteer抓取淘宝,你就会发现另外一个广阔的天地。

今天,我们来讲讲如何在Pyppeteer中隐藏 window.navigator.webdriver

首先,我们使用下面的代码,通过Pyppeteer打开浏览器窗口:

import asyncio
from pyppeteer import launch
async def main():
    browser = await launch(executablePath='/Applications/Google Chrome.app/Contents/MacOS/Google Chrome',
                           headless=False)
    page = await browser.newPage()
    await page.goto('http://exercise.kingname.info')
    input('测试完成以后回到这里按下回车...')
    await browser.close()
asyncio.get_event_loop().run_until_complete(main())

代码运行以后,会打开Chrome浏览器,并访问 http://exercise.kingname.info/ (这是我写的爬虫练习网站,大家可以用这个网站练习爬虫开发,里面有几道题挺难^_^)

在这个浏览器中,我们打开开发者工具,查询 window.navigator.webdriver 会发现它的值为 true 。如下图所示:

image

网上的代码,无外乎注入JavaScript,在网页自带的JavaScript加载之前,提前运行一段JavaScript,修改查询 window.navigator.webdriver 的接口。

这种方式每开一个新页面都要执行一次,繁琐,愚蠢!

那么正确的办法是什么呢?

我写这篇文章的时候(2019-08-15),Pyppeteer的最新版本为0.0.25,如下图所示:

image

此时,你可以在PyCharm中,按住Command键(Windows、Linux用户按住Ctrl键),鼠标左键点击 frompyppeteerimportlaunch 中的 launch ,自动跳转到Pyppeteer源代码中的 launcher.py 文件。

image

把代码往上翻,在第60行左右,找到如下图方框框住的代码:

image

--enable-automation 这一行注释掉。此时PyCharm会提示你是否修改源代码,选择OK。如下图所示。

image

修改完成以后的代码如下图所示:

image

以上就是你需要做的全部修改。

重新运行刚才的代码,你会发现, window.navigator.webdriver 已经是 undefined 了。如下图所示。

image

在Pyppeteer即将发布的0.0.26版本的功能里面,我看到了如下图方框框住的一项:

image

所以,等0.0.26版本发布以后,我们就可以直接通过传递参数来禁用 --enable-automation 了,不再需要修改源代码了。


题外话:官方文档和源代码是你的好朋友,如果官方文档找不到你想要的功能,源代码又看不懂,那么就阅读我写的爬虫书吧——学爬虫不走野路子。

为了庆祝本书第4次印刷,我将会从转发并评论了本文的同学中选出3位赠送本书。

(最新版)如何正确移除 Pyppeteer 中的window.navigator.webdriver
(最新版)如何正确移除 Pyppeteer 中的window.navigator.webdriver
(最新版)如何正确移除Selenium中的 window.navigator.webdriver
(最新版)如何正确移除Selenium中的 window.navigator.webdriver
一日一技:如何正确移除Selenium中window.navigator.webdriver的值
一日一技:如何正确移除Selenium中window.navigator.webdriver的值
要解答这个问题,还得请出this,我们经常说浏览器中的全局对象是window, 这句话对了,也还没完全对。 全局对象的真实身份应该是全局作用域的this。 window只是为了便于访问this,弄出来的一个属性。 html页面和Chrome开发者工具elements界面不一致的一个可能原因:没有在Chrome开发者工具里打开对Shadow DOM显示的支持
html页面和Chrome开发者工具elements界面不一致的一个可能原因:没有在Chrome开发者工具里打开对Shadow DOM显示的支持
在昨天的文章中《Python中与selenium齐名的pyppeteer库》我们对pyppeteer做了一个大致的介绍,后面将pyppeteer作为一个系列来讲,大致按照文档的思路来,再配合一些实践代码,来达到深入理解的目的。 [-] .\Navicat-Cracker NavicatCrackerDlg.cpp:332 -3All patch solutions are suppressed. Patch abort!HI