爬虫之JSON文件存储_爬虫json在哪个文件夹_chengqiuming的博客

相关文章推荐

慷慨的排球 · python - import ...· 8 月前 ·

想发财的茴香 · asp.net ...· 12 月前 ·

神勇威武的草稿本 · android 模拟器新款 - ...· 1 年前 ·

跑龙套的手链 · 深入理解 python 虚拟机：pyc ...· 1 年前 ·

帅呆的汉堡包 · RuoYi-Vue-Plus 与 ...· 1 年前 ·

JSON，全称为JavaScript Object Notation, 也就是JavaScript对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。

二对象和数组

在JavaScript语言中，一切都是对象。因此，任何支持的类型都可以通过JSON来表示，例如字符串、数字、对象、数组等，但是对象和数组是比较特殊且常用的两种类型，这里进行说明。

对象：它在JavaScript中是使用花括号{}包裹起来的内容，数据结构为{key1：value1, key2：value2, ...}的键值对结构。在面向对象的语言中，key为对象的属性，value为对应的值。键名可以使用整数和字符串来表示。值的类型可以是任意类型。
数组：数组在JavaScript中是方括号[]包裹起来的内容，数据结构为["java", "javascript", "vb", ...]的索引结构。在JavaScript中，数组是一种比较特殊的数据类型，它也可以像对象那样使用键值对，但还是索引用得多。同样，值的类型可以是任意类型。

所以，一个JSON对象可以写为如下形式：

"name": "Bob", "gender": "male", "birthday": "1992-10-18" "name": "Selina", "gender": "female", "birthday": "1995-10-18"

由中括号包围的就相当于列表类型，列表中的每个元素可以是任意类型，这个示例中它是字典类型，由大括号包围。

JSON可以由以上两种形式自由组合而成，可以无限次嵌套，结构清晰，是数据交换的极佳方式。

三读取JSON

Python为我们提供了简单易用的库来实现JSON文件的读写操作，我们可以调用库的loads()方法将JSON文本字符串转为JSON对象，可以通过dumps()方法将JSON对象转为文本字符串。

import json
str = '''
    "name": "Bob",
    "gender": "male",
    "birthday": "1992-10-18"
    "name": "Selina",
    "gender": "female",
    "birthday": "1995-10-18"
print(type(str))
# 这里有一段JSON形式的字符串，它是str类型，我们用Python将其转换为可操作的数据结构，如列表或字典
# loads()方法将字符串转为JSON对象。
data = json.loads(str)
print(data)
# 由于最外层是中括号，所以最终的类型是列表类型
print(type(data))
# 用索引来获取对应的内容
# 获取第一个元素里的name属性
print(data[0]['name'])
# 通过中括号加0索引，可以得到第一个字典元素，然后再调用其键名即可得到相应的键值。
# 获取键值时有两种方式，一种是中括号加键名，另一种是通过get()方法传入键名。
# 这里推荐使用get()方法，这样如果键名不存在，则不会报错，会返回None。
print(data[0].get('name'))
# 这里我们尝试获取年龄age，其实在原字典中该键名不存在，此时默认会返回None。
# 如果传入第二个参数（即默认值），那么在不存在的情况下返回该默认值。
print(data[0].get('age'))
# get()方法还可以传入第二个参数（即默认值）
print(data[0].get('age', 25))

E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/5_1_2.py
<class 'str'>
[{'name': 'Bob', 'gender': 'male', 'birthday': '1992-10-18'}, {'name': 'Selina', 'gender': 'female', 'birthday': '1995-10-18'}]
<class 'list'>
JSON的数据需要用双引号来包围，不能使用单引号。 
import json
str = '''
    'name': 'Bob',
    'gender': 'male',
    'birthday': '1992-10-18'
data = json.loads(str) 
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/5_1_2.py
Traceback (most recent call last):
  File "E:/WebSpider/5_1_2.py", line 44, in <module>
    data = json.loads(str)
  File "D:\Python36\lib\json\__init__.py", line 354, in loads
    return _default_decoder.decode(s)
  File "D:\Python36\lib\json\decoder.py", line 339, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "D:\Python36\lib\json\decoder.py", line 355, in raw_decode
    obj, end = self.scan_once(s, idx)
json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 3 column 5 (char 8) 
这里会出现JSON解析错误的提示。这是因为这里数据用单引号来包围，请千万注意JSON字符串的表示需要用双引号，否则loads()方法会解析失败。 
五 读JSON文本 
1 准备文本 
    "name": "Bob",
    "gender": "male",
    "birthday": "1992-10-18"
    "name": "Selina",
    "gender": "female",
    "birthday": "1995-10-18"
import json
# 从JSON文本中读取内容，例如这里有一个data.文本文件，
# 我们可以先将文本文件内容读出，然后再利用loads()方法转化
with open('data.json', 'r') as file:
    str = file.read()
    data = json.loads(str)
    print(data) 
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/5_1_2.py
[{'name': 'Bob', 'gender': 'male', 'birthday': '1992-10-18'}, {'name': 'Selina', 'gender': 'female', 'birthday': '1995-10-18'}] 
五 输出JSON 
1 基本用法 
1.1 点睛 
我们还可以调用dumps()方法将JSON对象转化为字符串。 
1.2 代码 
import json
data = [{
    'name': 'Bob',
    'gender': 'male',
    'birthday': '1992-10-18'
with open('data1.json', 'w') as file:
    # 利用dumps()方法，我们可以将JSON对象转为字符串，然后再调用文件的write()方法写入文本
    file.write(json.dumps(data)) 
1.3 结果文件输出 
[{"name": "Bob", "gender": "male", "birthday": "1992-10-18"}] 
2 文件保存为JSON格式 
2.1 代码 
import json
data = [{
    'name': 'Bob',
    'gender': 'male',
    'birthday': '1992-10-18'
# with open('data1.json', 'w') as file:
#     # 利用dumps()方法，我们可以将JSON对象转为字符串，然后再调用文件的write()方法写入文本
#     file.write(json.dumps(data))
with open('data.json', 'w') as file:
    # 再加一个参数indent，代表缩进字符个数
    file.write(json.dumps(data, indent=2)) 
3 结果文件输出 
    "name": "Bob",
    "gender": "male",
    "birthday": "1992-10-18"
六 中文输出 
1 错误样例 
1.1 代码 
import json
data = [{
    'name': '王伟',
    'gender': '男',
    'birthday': '1992-10-18'
with open('data.json', 'w') as file:
    file.write(json.dumps(data, indent=2)) 
1.2 结果文件输出 
    "name": "\u738b\u4f1f",
    "gender": "\u7537",
    "birthday": "1992-10-18"
1.3 说明 
输出的是Unicode字符，这并不是我们想要的结果。因此我们必须对其编码 
2 正确样例 
2.1 代码 
import json
data = [{
    'name': '王伟',
    'gender': '男',
    'birthday': '1992-10-18'
# 为了输出中文，还需要指定参数ensure_ascii为False，另外还要规定文件输出的编码
with open('data.json', 'w', encoding='utf-8') as file:
    file.write(json.dumps(data, indent=2, ensure_ascii=False)) 
2.1 结果文件输出 
    "name": "王伟",
    "gender": "男",
    "birthday": "1992-10-18"
                    一 点睛JSON，全称为JavaScript Object Notation, 也就是JavaScript对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。二 对象和数组在JavaScript语言中，一切都是对象。因此，任何支持的类型都可以通过JSON来表示，例如字符串、数字、对象、数组等，但是对象和数组是比较特殊且常用的两种类型，这...
import json
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
class Test:
    url = 'http://www.test.com/hello'
    options = webdriver.ChromeOpt...
json文件的地址url="http://www.lagou.com/lbs/getAllCitySearchLabels.json"
用python来解析 并提取出其中的城市名
代码如下：
#coding:utf8
import urlli
public class MovieJsonParser extends UDF {
    public String evaluate(String json) throws IOException {
        ObjectMapper objectMapper = new ObjectMapper...
				章节索引前提从问题出发JSON和XML专精JSONJSON文件读与写（1）读JSON文件（2）正向映射（3）反向映射（4）写JSON文件
之前一直有个问题没有弄清楚，就是“记录类型的用户数据是如何存储的”。经过搜索、学习和思考，现在终于弄清楚了。因此有了这篇博文。
从问题出发
问题其实前面已经说了，我们再具体一些。比如我们玩一个游戏，游戏里面每个玩家都有“背包”， 如果这个“背包”的容量很...
				学习python没多久，所以只能写一个很简单的爬虫啦~~
我使用annacada 自带的spyder来写爬虫的，这次我们要爬取得网站是http://www.drugbank.ca/drugs,
主要是爬取里面每种药物的信息到json文件中，包括有
DrugBank ID,  Name , Weight, Structure,   Categories,   TherapeuticIndica
将某一类型的数据以JSON格式存储到数据库中的某一字段中
以Map&lt;Integer, String&gt;类型的数据为例,将其存入数据库中的map字段,并且可读出为Map&lt;Integer, String&gt;类型的数据:
(1)首先...
一开始我并不知道这个网站↓
这次我没用Python的urllib2库，学了requests库，就用了get函数，不过这个确实比之前的urllib/urllib2/cookielib库简洁方便。
我本以为这个网站get的时候顶多加个headers就行了，
				import json
with open('XXCCQ.json','r',encoding='utf-8') as fp:
    json_str = json.load(fp)
    print(json_str)
with open('file.csv', 'w', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(['ID', 'Name', 'Age'])
    writer.writerow(['001', 'Tom', '20'])
保存为JSON文件：
import json
data = {'name': 'Tom', 'age': 20}
with open('file.json', 'w') as f:
    json.dump(data, f)
保存为图像文件：
import requests
url = 'http://example.com/image.jpg'
response = requests.get(url)
with open('image.jpg', 'wb') as f:
    f.write(response.content)
保存为多媒体文件：
import requests
url = 'http://example.com/video.mp4'
response = requests.get(url)
with open('video.mp4', 'wb') as f:
    f.write(response.content)