一、安装Scrapy

直接使用pip安装Scrapy：
pip install -i https://pypi.douban.com/simple scrapy
然后，使用scrapy startproject创建新项目时，可能就会报下面错误：
 ‘/usr/local/lib/etree.cpython-39-darwin.so’ (no such file)
 这是因为我们直接使用pip install安装的scrapy依赖lxml包不是’arm64e’版本的，那怎么办呢？其实，很简单，我们使用conda install安装lxml就搞定了： 
conda install -c conda-forge lxml
安装完毕就可以正常使用了。
  
二、安装undetected-chromedriver
 
在爬虫中，经常会结合Selenium（一个用于测试网站的自动化测试工具）一起使用，但是现在很多网址都能自动识别Selenium工具，并阻止它进行爬去数据，为了解决这个问题，在GitHub上有一个开源项目undetected_chromedriver 工具，它就可以防止浏览器特征被识别，并且可以根据浏览器版本自动下载驱动。使用非常简单，但是在Mac M1电脑上安装还是有一个坑。我们接下来一步一步说明： 
首先，安装selenium包： 
conda install -c conda-forge selenium
然后，再安装undetected-chromedriver包： 
pip install -i https://pypi.douban.com/simple undetect-chromedriver
再然后，就是可能会遇上的两个坑： 
  我们在使用如下代码运行时：import undetected_chromedriver as uc
driver = uc.Chrome()
driver.get("https://nowsecure.nl")
 报如下错误（错误信息太长，就不全部粘出来了，可以去官方github上的issues查看 ）：
 这个该如何解决呢？如果按照该issues的方法，只能放在main主函数、主进程中，那么把这几行代码在其他地方就行了，所以，还有一种方法，直接在uc.Chrome()中设置use_subprocess=True即可：import undetected_chromedriver as uc
driver = uc.Chrome(use_subprocess=True)
driver.get("https://nowsecure.nl")
 
修改了此处问题，接下来进行爬取数据可能又会出现：MemoryError: Cannot allocate write+execute memory for ffi.callback().的错误，在这篇博客中也记录一种解决方法，有兴趣的同学可以尝试一下。我这里要介绍另一种方法，不用升级python和重装scrapy包。
 其实，报这个错误主要是由一个包引起的，即cffi包，它是selenium包的依赖，在安装selenium包时被一起安装的，使用的方式是conda install。很显然这种安装cffi包的方法与scrapy（使用pip安装）不兼容，所以，我们先卸装它，在使用pip进行安装：pip uninstall cffi
pip install -i https://pypi.douban.com/simple cffi
经过这么长时间的使用Mac M1，发现它安装python的一系列包是有所不同的，因为它本身是arm64，所以安装x86_64的包是肯定不行的。又因为我们用的miniforge3版本的conda（我理解类似arm版本），所以用conda install 安装的包基本上是arm版本的，例如用pip install pytorch肯定是用不起的，而用conda install -c conda-forge pytorch就行。 但是呢，这也不是绝对，像上面提到的cffi包，用pip安装反而能行。因此，在安装包的时候可以留意一下，该使用什么方式安装。
                    文章目录本机环境一、安装Scrapy二、安装undetected-chromedriver总结本机环境我的本地环境是：系统：MacBook Pro（M1）anaconda：miniforge3python：3.9注：网上很多人建议把将python版本升级为3.10.4，然后重新安装scrapy，但是，我找到的方法是不需要升级python等繁琐操作的。提示：以下是本篇文章正文内容，下面案例可供参考一、安装Scrapy直接使用pip安装Scrapy：pip install -i http
				undetected_chromedriver
 优化的Selenium Chromedriver补丁程序不会触发反机器人服务，例如Distill Network / Imperva / DataDome / Botprotect.io。自动下载驱动程序二进制文件并对它进行修补。
 从版本80开始测试，直到当前Beta
 修补程序还可在MS Edge（基于Chrome）的Webdriver二进制文件上使用
Python 3.6 ++
pip install undetected-chromedriver
为防止不必要的拉扯和挑毛，请的。
简单方法（推荐）
 import undetected_chromedriver as uc
driver = uc . Chrome ()
driver . get ( 'https://distilnetworks.com' )
指定特定的Chrome版本
import undetected_chromedriver as uc
uc . TARGET_VERSION = 85
driver = uc . Chrome ()
猴子补丁模
				undetected-chromedriver 是一个 Python 库，用于在使用 Selenium 自动化测试时绕过 Chrome 浏览器的自动化检测机制。以下是使用 undetected-chromedriver 的详细步骤：
安装undetected-chromedriver：可以通过pip命令进行安装，如下所示：
pipinstall undetected-chromedriver
1. 确认已安装Python环境
Scrapy是一个基于Python的框架，因此首先需要确保已经安装了Python环境。可以在终端中输入以下命令来检查是否已安装Python：
python --version
如果输出的结果为Python的版本信息，说明已经安装了Python。
2. 安装pip
pip是Python的一个包管理工具，可以使用pip来安装Scrapy。如果尚未安装pip，可以使用以下命令在终端中安装：
sudo easy_install pip
3. 安装Scrapy
使用pip来安装Scrapy。在终端中输入以下命令：
sudo pip install scrapy
这将自动下载并安装Scrapy及其依赖项。
4. 验证Scrapy是否安装成功
在终端中输入以下命令来验证Scrapy是否成功安装：
scrapy version
如果输出Scrapy的版本信息，说明Scrapy已经成功安装。
至此，Scrapy已经安装完成，可以开始使用了。