python 序列化数据：pickle与json

pickle 只能在python中用python文件间序列化，实现了两个python 内存数据的交互（可序列化任何对象（类，列表））
json 在任何软件间可以在内存数据之间的交互，只能序列化常规的对象（列表 ，字典等）

#!usr/bin/env python
#_*_ coding:utf-8 _*_
import chardet
import pickle
li=['a','hello','world','ok']
print('pickle.dumps结果')
print(pickle.dumps(li))  #把对象序列释放成str
print(type(pickle.dumps(li)))
#dumps反序列化
print('pickle.loads结果')
dumps=pickle.dumps(li)  #注意dumps与dump（文件）
print(pickle.loads(dumps))   #these default to 'ASCII' and 'strict'
#dump反序列化 闭含过文件形式
print('pickle.dump与pickle.load结果')
dumps=pickle.dump(li,open('dump.txt','wb+'))
print(pickle.load(open('dump.txt','rb')))
#pickle 只能在python中用python文件间序列化，实现了两个python 内存数据的交互（可序列化任何对象（类，列表））
#json 在任何软件间可以在内存数据之间的交互，只能序列化常规的对象（列表 ，字典等）
import json
#用法同pickle，dumps与loads，dump与load
dict={'name':'zhongguo','age':'1949'}
print('json案例展示')
print(json.dumps(dict))  #str  #将dictjson序列化成str
print(type(json.dumps(dict)))
print(json.loads(json.dumps(dict)))
print(type(json.loads(json.dumps(dict))))#将json.dumps(dict)序列化回dict
更新时间：20190107 解决pickle 报错TypeError: can’t pickle _thread.lock objects
 
查看原因后发现：模型调用了4个threads ，也就是说4个小线程导致报错，没有找到设置参数，
 
后来查看发现, 进程池内部处理使用了pickle模块(用于python特有的类型和python的数据类型间进行转换)中的dump(obj, file, protocol=None,)方法对参数进行了封装处理.
 
于是最后使用使用joblib解决，
 joblib更适合大数据量的模型，且只能往硬盘存储，不能往字符串存储
 
from sklearn.externals import joblib
joblib.dump(clf,'filename.pkl')
clf=joblib.load('filename.pkl')
                    python 序列化数据：pickle与json pickle 只能在python中用python文件间序列化，实现了两个python 内存数据的交互（可序列化任何对象（类，列表）） json 在任何软件间可以在内存数据之间的交互，只能序列化常规的对象（列表 ，字典等）#!usr/bin/env python#_*_ coding:utf-8 _*_import chardetimport p
				
这是用于序列化的两个模块：
• json： 用于字符串和python数据类型间进行转换
• pickle： 用于python特有的类型和python的数据类型间进行转换
Json 模块提供了四个功能：dumps、dump、loads、load 
pickle 模块提供了四个功能：dumps、dump、loads、load
import pickle
data = {'k1':123, 'k2':888}
#dumps可以将数据类型转换成只有python才认识的字符串
p_str = pickle.dumps(data)
print p_str
输出结果：
S'k2'
					
for batch_idx, (batch_x, batch_y) in enumerate(test_loader)报错:can‘t pickle module objects
				
报错信息如下：
Traceback (most recent call last):
  File "E:/Program Files/PyCharm 2019.2/machinelearning/homework/CNN.py", line 151, in <module>
    train()
  File "E:/Program Files/PyCharm 2019.2/machinelearning/homework/CNN.py", line 140, in train
process多进程的过程涉及pickle，俗称序列化，多进程传参数会自动将参数序列化，pickle.dumps()
我在开启多进程传参过程中传递了不可序列化的对象——ssh初始化的对象，他是一个Paramiko实例对象，
导致报错TypeError: can't pickle _threa...
tensorflow.keras.models.save_model 报错：TypeError: can’t pickle _thread.RLock objects
参考链接：
https://github.com/keras-team/keras/issues/8343
原因分析：
tf.keras.layers.Lambda(
    function, output_shape=None, mask=None, arguments=None, **kwargs
上面的匿名函数层 Lam
				
Python和Pytorch在MultiProcess模块和Queue模块上的区别分析问题描述
今天在编写自己的多进程代码时发现程序卡住了。发现程序中，进程对象是由torch.multiprocessing.Process()创建的，而队列对象是由queue.Queue()创建的。现用精简的代码重现上述情况：
import queue
from torch.multiprocessing...
TypeError: can’t pickle _thread.lock objects
近期在调试深度学习的项目，使用的是Tensorflow库，用GA3C算法进行训练，在网上找来源码进行调试过程中，一直出现TypeError: can’t pickle _thread.lock objects错误，经过一段时间的折磨终于解决了。。。。。
				
在写多进程类的时候遇到了这么个问题   Traceback (most recent call last):
  File "C:/Users/wei.wu/Desktop/trade/monitor/kp.py", line 93, in <module>
    kp.start()
  File "C:\ProgramData\Anaconda3\lib\multiprocessing\pro
				
最近在项目需要使用一个新模型训练MNIST，在训练过程中一直报错TypeError:can't pickle weakref objects，百般折腾后发现问题的原因是np.save在处理数据时是以数组（列表）格式保存，对于zip后的tuple数据不兼容（或者需要其他设置，本人没有细究，有大侠了解的请赐教），将zip后的数据转化为list之后，问题解决。
				
错误原因：使用队列错误（Queue.Queue()不能用于进程间通信）
当子进程执行的方法定义在类中时会报错：PicklingError: Can't pickle : attribute lookup __builtin__.instancemethod failed
def main():
    manager = multiprocessing.Manager()
    queue =