【Pandas】Pandas基础知识汇总

• df.to_execl(): 将df数据存入到excel文件，参数如下：

• index: False，存文件时不会把索引名称 存进去；为True则会连索引一并存储。

2.3 读取json文件

2.4 读取数据库

2.4.1 读取Sqlite数据库

2.4.2 读取MySQL数据库

2.5 查看数据

3. pandas数据结构

3.1 DataFrame

DataFrame是二维数据。既有行索引index，也有列索引columns。

类型： <class 'pandas.core.frame.DataFrame'>

3.1.1 根据多个字典序列创建DataFrame

运行结果：

3.1.2 多维数组创建DataFrame

运行结果：

3.1.3 查询DataFrame数据

3.2 Series

Series: 一维数据，一行或一列。

3.2.1 使用list列表创建Series

运行结果：

也可以指定索引名称，替换掉自动生成的数字索引

运行结果：

3.2.2 使用字典创建Series

使用字典生成的Series，索引为字典的key值

运行结果：

3.2.3 根据标签索引查询数据

4. Pandas查询数据

4.1 loc方法

根据行、列的标签值查询。

4.1.1 使用单个label值查询数据

得到单个值：

得到一个Series：

4.1.2 使用值列表批量查询

获取行索引为1和2，列索引为‘身高’数据，返回类型为Series

获取行索引为1和2，列索引为‘身高’和'体重'的数据，返回类型为DataFrame

4.1.3 使用数值区间进行范围查询

行索引按区间查询：

列索引按区间查询：

行和列都按区间查询：

4.1.4 使用条件表达式查询

查询身高大于等于1.75的所有行记录：

当有多个条件时，可以像下面这些写， &符号不要切换成and

4.1.5 调用函数查询

1）使用匿名表达式查询

2）自定义函数查询

查找出爱好为看书的记录

4.2 iloc方法

根据行、列的数字位置查询

4.3 where方法

待补充...

4.4 query方法

待补充...

5. 数据新增与更新

5.1 直接赋值

例1：让所有记录的体重列增加1kg

例2： 新增 列'身高/体重'，计算所有记录的该比值

或者写为如下形式

5.2 df.apply方法

对某一列统一做函数处理，注意axis=1表示的是列索引，axis=0表示的是行索引。

5.3 df.assign方法

assign方法不会修改原有的dataframe

例1：将所有记录的体重翻倍，并赋给新列

5.4 按条件选择分组分别赋值

条件判断里写的时候需要注意，在python中1<a<10这种写法是可以的，但是在.loc方法里这样写会报错，所以遇到这种情况，需要使用 & 符号连接多个条件来写。

查看dataframe:

6. Pandas数据统计函数

6.1 汇总类统计

• 提取所有数字列统计结果

• 获取身高列的最小值

• 获取年龄列的平均值

6.2 唯一去重和按值计数

• 唯一性去重

• 按值计数

6.3 相关系数和协方差

6.3.1 概念

对于两个变量X、Y：

• 协方差： 衡量同向反向程度，如果协方差为正，说明X,Y通向变化，协方差越大说明同向程度越高；如果协方差为负，说明X，Y反向运动，协方差越小说明反向程度越高。

• 相关系数：衡量相似度程度，当他们的相关系数为1时，说明两个变量变化时的正向相似度最大，当相关系数为-1时，说明两个变量变化的反向相似度最大。

6.3.2 相关方法

• 协方差矩阵

• 相关系数矩阵

• 单独计算相关系数

计算年龄和体重的相关系数

7. Pandas对缺失值的处理

7.1 监测缺失值

• isnull()： 判断df每个元素是否为null，是null为True，不是null为False。

单个列判断是否都为空：

• notnull()：和isnull()相反，判断df各个元素是否不为null，不是null为True，是null为False。

筛选体重已登记的行：

7.2 丢弃缺失值

• dropna：丢弃、删除缺失值，以下是该函数的三个参数：

• aixs：删除行还是列，{0 or 'index', 1 or 'columns'}, default 0。

• how：如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除。

• inplace：如果为true则修改当前df，否则返回新的df。

删除全是空值的列

7.3 填充缺失值

• fillna：填充空值，参数如下：

• value: 用于填充的值，可以是单个值，或者字典（key是列明，value是值）。

• method: 等于ffile使用前一个不为空的值填充forword fill；等于bfill使用后一个不为空的值填充 backword fill。

• axis: 按行还是列填充，{0 or 'index', 1 or 'columns'}

• inplace: 如果为true则修改当前df，否则返回新的df。

将体重为空的元素填充为100，默认是生成新的df，如果想在原有df上修改，需要添加参数inplace=True

等同于

8. Pandas的SettingWithCopyWarning告警

pandas不允许先筛选子dataframe，再进行修改写入。

两种解决方案：

• 使用.loc实现一个步骤直接修改源dataframe。

• 先复制一个dataframe再一个步骤执行修改。

9. Pandas数据排序

9.1 Series排序

• Series.sort_values(): 对Series进行排序，参数如下：

• ascending: 默认为True升序排序，为False降序排序

• inplace: 是否修改原始Series

例子1：对体重列进行升序排序

例子2： 对体重列进行降序排列

9.2 DataFrame排序

• DataFrame.sort_values(): 对DataFrame进行排序，参数说明如下：

• by: 字符串或者list<字符串>，单列排序或者队列排序

• ascending: bool或者list,升序还是降序，如果是list对应by的多列

• inplace: 是否修改原始DataFrame

例子1： 单列排序

按照体重进行排序，默认升序

如果想要降序排列，只需要添加参数 ascending=False 即可。

例子2： 多列排序

按照年龄和体重排序

按照年龄和体重排序，但是年龄按升序排，体重按降序排：

10. Pandas字符串处理


处理过程如下：

1）先获取Series的str属性，然后在属性上调用函数；

2）只能在字符串列上使用，不能数字列上使用；

3）DataFrame上没有str属性和处理方法；

4）Series.str并不是Python原生字符串，而是自己的一套方法，大部分和原生str很相似。

• 字符串替换: replace

将 看 替换为 阅读

也可以写为如下形式，Series.str默认开启了正则表达式模式，也可以通过参数 regex=False 进行关闭。

• 判断是不是数字: isnumeric

• 计算字符串长度: len

• 以特定字符/字符串开头: startswith

• 包含特定字符/字符串: contains

11.  Pandas的axis参数