一、编码介绍

1、须知：
在python 2中默认编码是 ASCII，而在python 3中默认编码是 unicode
unicode 分为utf-32 (占4个字节),utf-16(占两个字节)，utf-8(占1-4个字节)，所以utf-16 是最常用的unicode版本，但是在文件里存的还是utf-8，因为utf8省空间
在python 3,encode编码的同时会把stringl变成bytes类型，decode解码的同时会把bytes类型变成string类型
在unicode编码中 1个中文字符=2个字节，1个英文字符 = 1个字节，切记：ASCII是不能存中文字符的
utf-8是可变长字符编码,它是unicode的优化，所有的英文字符依然按ASCII形式存储，所有的中文字符统一是3个字节
unicode包含了所有国家的字符编码，不同字符编码之间的转换都需要经过unicode的过程
python本身的默认编码是utf-8
2、py2中的编码和转码的过程，如图：

注：因为unicode是中间编码，任何字符编码之前的转换都必须解码成unicode，在编码成需要转的字符编码

二、字符编码的转换

1、py2字符编码的转换，代码如下：

#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __auther__ == luoahong
s = "我是学员"
#utf-8解码成unicode编码
s_to_unicode = s.decode("utf-8")
print("--------s_to_unicode-----")
print(s_to_unicode)
#然后unicode再编码成gbk
s_to_gbk = s_to_unicode.encode("gbk")
print("-----s_to_gbk------")
print(s_to_gbk)
#gbk解码成unicode再编码成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("------gbk_to_utf8-----")
print(gbk_to_utf8)
--------s_to_unicode-----
-----s_to_gbk------
�����˧
------gbk_to_utf8-----
2、字符编码已经是unicode情况下，代码如下： 
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __auther__ == luoahong
#u代码字符编码是unicode
s = u'你好'
#已经是unicode，所以这边直接是编码成gbk
s_to_gbk = s.encode("gbk")
print("----s_to_gbk----")
print(s_to_gbk)
#这边再解码成unicode然后再编码成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("-----gbk_to_utf8---")
print(gbk_to_utf8)
----s_to_gbk----
-----gbk_to_utf8---

 注：在python2中，在文件的开头指定字符编码，是要告诉解释器我现在的字符编码使用的是utf-8，那我在打印的中文时候，那么在utf-8中包含中文字符，那么可以打印出来。那么如果你不制定字符编码，默认使用系统编码，如果你的系统编码是ASCII，那么就会报错，因为ASCII不能存中文字符。 
3、py3的字符编码转换 

 在须知中已经说到python 3的编码，默认是unicode，所以字符编码之间的转换不需要decode过程，直接encode即可，代码如下： 
#! /usr/bin/env python
# __auther__ == luoahong
#无需声明字符编码，当然你声明也不会报错
s = '你好'
# 字符串s已经是unicode编码，无需decode,直接encode
s_to_gbk = s.encode("gbk")
print("----s_to_gbk----")
print(s_to_gbk)
#这边还是一样，gbk需要先解码成unicode，再编码成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("-----gbk_to_utf8---")
print(gbk_to_utf8)
#解码成unicode字符编码
utf8_decode = gbk_to_utf8.decode("utf-8")
print("-------utf8_decode----")
print(utf8_decode)
----s_to_gbk----
b'\xc4\xe3\xba\xc3'
-----gbk_to_utf8---
b'\xe4\xbd\xa0\xe5\xa5\xbd'
-------utf8_decode----

  注：在python 3,encode编码的同时会把stringl变成bytes类型，decode解码的同时会把bytes类型变成string类型，所以你就不难看出encode后的把它变成了一个bytes类型的数据。还有需要特别注意的是：不管是否在python 3的文件开头申明字符编码，只能表示，这个python文件是这个字符编码，文件中的字符串还是unicode，如下图： 
三、编码格式查看 
data = '离离原上草，一岁一枯荣'.encode('utf-8') 
>>> chardet.detect(data) 
{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''} 
四、总结： 

 1、uniocode能识别所有字符编码的字符串 
2、在python 2中，字符编码之间的转化需要通过unicode才能转换，所以打印时，可以是使用unicode，也可以使用对应的字符编码(文件开头指定编码)，打印字符或者字符串，因为py2中没有对字符和字节做明显区分，       所以才混导致这样的结果。 
3、在python 3中，只有通过Unicode去识别字符的，如果转成编码成对应编码格式了，就直接变成对应编码的bytes类型的字节码，也就是二进制，需要识别，必须解码成Unicode才能识别 
4、py3中如果说在文件开头已经指定了文件编码，为啥文件中用到的还是uniocde呐？因为py3中的对应编码是二进制，是bytes类型，是不能识别的，能识别的只有Unicode。因为py3中对字符和字节做了明显的区分， 所以出现3和4阐述的情况。
                    本节内容1、编码介绍2、字符编码介绍3、总结说到python的编码，一句话总结，说多了都是泪啊，这个在以后的python的开发中绝对是一件令人头疼的事情。所以有必要要讲讲清楚一、编码介绍1、须知：在python 2中默认编码是 ASCII，而在python 3中默认编码是 unicodeunicode 分为utf-32 (占4个字节),utf-16(占两个字节)，utf-8(占1-4个字节)，所以utf-16 是最常用的unicode版本，但是在文件里存的还是utf-8，因为ut
1、须知：
在python 2中默认编码是 ASCII，而在python 3中默认编码是 unicode
unicode 分为utf-32 (占4个字节),utf-16(占两个字节)，utf-8(占1-4个字节)，所以utf-16 是最常用的unicode版本，但是在文件里存的还是utf-8，因为utf8省空间
在python 3,encode编码的同时会把stringl变成bytes类型，decode解码的同时会把bytes类型变成string类型
在unicode编码中 1个中文字符=2个字节，1个英文字符 = 1个字节，切记：ASCII是不能存中文字符的
				Python2.x使用过程中，中文乱码解决最耳熟能详的方法就是在代码前加上#-*- coding:utf-8 –*-
那么为什么需要这么做呢？什么又是字节和字符？下面我们了解下。
我来讲一下字符问题我的理解吧，虽然我对Python的编码处理的具体细节还不太清楚，不过临时稍微看了一下，和Perl的原理也差不多
最重要的是必须区分“字符”和“字节”的不同，“字符”是抽象的，而“字节”是具体的
比如一个“中”字，在不同编码中用如下字节表示：
    GBK      Big5        UTF-8     UTF-16LE 
\xD6\xD0  \xA4\xA4  \xE4\xB8\xAD  \
				前端时间做文本处理的时候，出现了很多编码解码的问题，总是在python中不知道怎么处理，啥时候需要解码，啥时候需要编码，有点懵逼，索性自己钻研一下吧！(*•ω•)
声明：本文的撰写为作者记录自己学习所写，因此可能会出现错误。
主要参考了B站Python小镇的视频：https://www.bilibili.com/video/BV1gZ4y1x7p7
0.基础知识
0.1 字符
可见字符：英文字母、数字、标点符号
控制字符：换行、回车、换页、删除等具有控制功能的字符（不可见字符）
0.2 编解码
				Python 中的字符串、字节串和字符编码utf-8（个人笔记）
文章目录Python 中的字符串、字节串和字符编码utf-8（个人笔记）前言UTF-8补充字符串编码字节串解码一些字符编解码技巧unicode数字转换为字符字符转换为unicode数字字符串编码为 unicode转义数字用unicode转义数字 写字符串直接用16进制数字创建 bytes字节串 和 16进制表示字节的字符串总结总结
我们在写python脚本时，经常能看到 utf-8 ，那这个 utf-8到底是干嘛的呢？
除了 utf-8
				utf-8简介
UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，由Ken Thompson于1992年创建，现在已经标准化为RFC 3629。UTF-8用1到4个字节编码Unicode字符。用在网页上可以统一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。
计算机中使用1-6个字节表示一个UTF-8字符；大多数......
				在 Python 中将 utf-8 编码的字符串转换为 gbk 编码的字符串，可以使用字符串对象的 `encode()` 方法。下面是一个简单的示例：
```python
# 定义一个 utf-8 编码的字符串
utf8_string = "你好，世界！"
# 将 utf-8 字符串转换为 gbk 编码的字符串
gbk_string = utf8_string.encode('gbk')
# 打印 gbk 编码的字符串
print(gbk_string)
在上面的代码中，我们首先定义了一个 utf-8 编码的字符串 `utf8_string`。然后，我们使用 `encode()` 方法将其转换为 gbk 编码的字符串，并将结果保存在变量 `gbk_string` 中。最后，我们使用 `print()` 函数打印 gbk 编码的字符串。
请注意，在进行编码转换时，可能会出现一些字符无法转换的情况，这时会抛出 `UnicodeEncodeError` 异常。因此，在实际使用中，我们需要根据具体的需求来处理这些异常情况。