背景介绍
我们知道再爬虫的过程中我们对于爬取到的网页数据需要进行解析，因为大多数数据是不需要的，所以我们需要进行数据解析，常用的数据解析方式有正则表达式，xpath，bs4，这次我们来介绍一下另一个数据解析库－－jsonpath，在此之前我们需要先了解一下什么是json。
一、初识Json
JSON（JavaScript Object Notation） 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。
Python 2．7及之后版本，自带了JSON模块，直接import json就可以使用了。
二、Json的基本使用
简介
json简单说就是javascript中的对象和数组，所以这两种结构就是对象和数组两种结构，通过这两种结构可以表示各种复杂的结构；
对象：对象在js中表示为｛ ｝括起来的内容，数据结构为 ｛ key：value， key：value， ．．． ｝的键值对的结构，在面向对象的语言中，key为对象的属性，value为对应的属性值，所以很容易理解，取值方法为 对象．key 获取属性值，这个属性值的类型可以是数字、字符串、数组、对象这几种。
数组：数组在js中是中括号［ ］括起来的内容，数据结构为 ［＂Python＂， ＂javascript＂， ＂C＋＋＂， ．．．］，取值方式和所有语言中一样，使用索引获取，字段值的类型可以是 数字、字符串、数组、对象几种。
使用
json模块提供了四个功能：dumps、dump、loads、load，用于字符串 和 python数据类型间进行转换。
把Json格式字符串解码转换成Python对象 从json到python的类型转化对照如下：
1．json．loads（）
import json
strDict ＝ ＇｛＂city＂： ＂广州＂， ＂name＂： ＂小黑＂｝＇
r ＝ json．loads（strDict） ＃ json数据自动按Unicode存储
rint（r）
结果如下：
｛＇city＇： ＇广州＇， ＇name＇： ＇小黑＇｝
2． json．load（）
读取文件中json形式的字符串元素 转化成python类型
import json
s ＝ json．load（open（＇test．json＇，＇r＇，encoding＝＇utf－8＇））
print（s，type（s））
结果如下：
｛＇city＇： ＇广州＇， ＇name＇： ＇小黑＇｝ ＜class ＇dict＇＞
3． json．dumps（）
实现python类型转化为json字符串，返回一个str对象 把一个Python对象编码转换成Json字符串
import json
listStr ＝ ［1， 2， 3， 4］
dictStr ＝ ｛＂city＂： ＂北京＂， ＂name＂： ＂大猫＂｝
s1 ＝ json．dumps（listStr）
s2 ＝ json．dumps（dictStr，ensure＿ascii＝False）
print（s1，type（s1））
print（s2）
结果如下：
［1， 2， 3， 4］ ＜class ＇str＇＞｛＂city＂： ＂北京＂， ＂name＂： ＂大猫＂｝ ＜class ＇str＇＞
注意：
json．dumps（） 序列化时默认使用的ascii编码
添加参数 ensure＿ascii＝False 禁用ascii编码，按utf－8编码
4． json．dump（）
将Python内置类型序列化为json对象后写入文件
import json
json＿info ＝ ＂｛＇age＇： ＇12＇｝＂
file ＝ open（＇ceshi．json＇，＇w＇，encoding＝＇utf－8＇）
json．dump（json＿info，file）
结果如下：
ceshii，json（目录文件产生）
三、JsonPath
JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript， Python， PHP 和 Java。
JsonPath 对于 JSON 来说，相当于 XPATH 对于 XML。
安装方法：点击Download URL链接下载jsonpath，解压之后执行python setup．py install
JsonPath与XPath语法对比
Json结构清晰，可读性高，复杂度低，非常容易匹配，下表中对应了XPath的用法。
四、案例测试
我们爬取淘票票官网的城市信息，保存为json文件，进行jsonpath语法测试，获取所有城市名称。
请求
import requests
import time
url ＝ ＇https：／／dianying．taobao．com／cityAction．json？activityId＆＿ksTS＝1632211792156＿137＆jsoncallback＝jsonp138＆action＝cityAction＆n＿s＝new＆event＿submit＿doGetAllRegion＝true＇
headers ＝ ｛
＇user－agent＇： ＇Mozilla／5．0 （Windows NT 10．0； Win64； x64） AppleWebKit／537．36 （KHTML， like Gecko） Chrome／91．0．4472．106 Safari／537．36＇，
｝
res ＝ requests．get（url，headers＝headers）
result ＝ res．content．decode（＇utf－8＇）
print（result） ＃ xxx省略
注意：
headers里面的键值对最好都加上，还是有反爬的，该网站，这里为了简便省去了；
保存数据
content ＝ result．split（＇（＇）［1］．split（＇）＇）［0］ ＃ 由于文件首尾的字符不需要需要剔除掉做字符串切割
with open（＇tpp．json＇，＇w＇，encoding＝＇utf－8＇）as fp：
fp．write（content）
打开json文件如下所示：
解析数据
这里我们获取全部城市名称
import json
import jsonpath
obj ＝ json．load（open（＇tpp．json＇，＇r＇，encoding＝＇utf－8＇）） ＃ 注意，这里是文件的形式，不能直接放一个文件名的字符串
city＿list ＝ jsonpath．jsonpath（obj，＇＄．．regionName＇） ＃ 文件对象 jsonpath语法
print（city＿list）
结果如下：
五、总结
我们知道json是一种常见的数据传输形式，所以对于爬取数据的数据解析，json的相关操作是比较重要的，能够加快我们的数据提取效率，本文简单介绍了json和jsonpath的相关操作，对于测试网站（淘票票）的json做了简单的数据解析，感兴趣的小伙伴可以把其他数据解析一下。
