如何使用Python对嵌套结构的JSON进行遍历获取链接并下载文件

爬虫技术和代理产品分享

JSON（JavaScript Object Notation）是一种基于JavaScript语言的轻量级数据交换格式，它用键值对的方式来表示各种数据类型，包括字符串、数字、布尔值、空值、数组和对象。数组是有序的数据集合，用[]包围，元素用逗号分隔；对象是无序的数据集合，用{}包围，属性用逗号分隔，属性名和属性值用冒号分隔。 JSON可以形成嵌套结构，即数组或对象中包含其他数组或对象。例如：

{
"name": "Alice",
"age": 20,
"hobbies": ["reading", "writing", "singing"],
"friends": [
"name": "Bob",
"age": 21,
"hobbies": ["playing", "coding", "dancing"]
"name": "Charlie",
"age": 19,
"hobbies": ["drawing", "cooking", "watching"]
}

这个例子中，一个对象表示了Alice和她两个朋友的基本信息。这个对象有四个属性，其中hobbies是一个数组，friends也是一个数组，而friends数组中的每个元素又都是一个对象。遍历JSON就是按顺序访问其中的每个元素或属性，并进行处理。遍历JSON有很多好处：

提取所需信息：我们可以从嵌套结构的JSON中获取特定信息，比如Alice喜欢什么书或Bob会不会跳舞等。
修改或更新信息：我们可以修改或更新嵌套结构的JSON中的特定信息，比如Alice年龄加1或Charlie多了一个爱好等。
格式化或转换信息：我们可以将嵌套结构的JSON以不同形式展示给用户，比如表格、图表、列表等，或者转换成其他格式，比如XML、CSV等。
分析或处理信息：我们可以对嵌套结构的JSON中的特定信息进行分析或处理，比如计算Alice和Bob有多少共同爱好，或者按年龄排序所有人等。

下面通过一段代码演示如何遍历JSON，提取所有的网站链接，并对zip文件使用爬虫代理IP下载：

# 导入需要的模块
import json
import requests
# 定义爬虫代理加强版的用户名、密码、域名和端口
proxy = "http://16ip:pass@www.16yun.cn:8080"
# 定义嵌套结构的json数据，可以用文件读取等方式替换
data = {
    "articles": {
        "article_1": {
            "image": "https://www.16yun.cn/1.jpg",
            "reviews": [
                    "attach": "https://www.16yun.cn/test/22.png"
                    "attaches": [
                        "https://exa2.com/test/23.png",
                        "https://exm23.com/file.zip"
                    "report_to": "https://data.zzz/count_re"
        "article_2": {
            "image": "https://example.com/3.jpg",
            "related_posts": [
                    "attach": [
                        "https://exmdy.com/79488.png",
                        "https://exmdy.com/file/da/eio.zip"
                    report_to: \"https://dafe/do\"
# 定义一个函数，用于遍历json数据，提取所有的链接，并将链接中.zip后缀的文件使用代理IP进行下载
def extract_and_download_links(data):
    # 如果数据是字典类型，遍历其键值对
    if isinstance(data, dict):
        for key, value in data.items():
            # 如果值是字符串类型，并且以http或https开头，说明是一个链接
            if isinstance(value, str) and value.startswith(("http", \"https\")):
                # 打印出链接
                print(value)
                # 如果链接以.zip结尾，说明是一个压缩文件
                if value.endswith(".zip"):
                    # 使用requests模块和爬虫代理加强版发送请求，获取响应内容
                    response = requests.get(value, proxies={"http": proxy})
                    # 从链接中提取文件名
                    filename = value.split("/")[-1]
                    # 以二进制模式打开一个新文件，写入响应内容
                    with open(filename, \"wb\") as f:
                        f.write(response.content)
            # 否则，递归调用函数处理值
            else:
                extract_and_download_links(value)
    # 如果数据是列表类型，遍历其元素
    elif isinstance(data, list):