Pandas是python中比较主要的数据分析库之一,它提供了非常多的函数、方法,可以高效地处理并分析数据。让pandas如此受欢迎的原因是它简洁、灵活、功能强大的语法。
这篇文章将会配合实例,讲解10个重要的pandas函数。其中有一些很常用,相信你可能用到过。还有一些函数出现的频率没那么高,但它们同样是分析数据的得力帮手。
介绍这些函数之前,第一步先要导入pandas和numpy。
- import numpy as np
- import pandas as pd
1. Query
Query是pandas的过滤查询函数,使用布尔表达式来查询DataFrame的列,就是说按照列的规则进行过滤操作。
- pandas.DataFrame.query(self, expr, inplace = False, **kwargs)
参数作用:
首先生成一段df:
- values_1 = np.random.randint(10, size=10)
- values_2 = np.random.randint(10, size=10)
- years = np.arange(2010,2020)
- groups = ['A','A','B','A','B','B','C','A','C','C']
- df = pd.DataFrame({'group':groups, 'year':years, 'value_1':values_1, 'value_2':values_2})
- df
过滤查询用起来比较简单,比如要查列value_1
- df.query('value_1 < value_2')
Insert用于在DataFrame的指定位置中插入新的数据列。默认情况下新列是添加到末尾的,但可以更改位置参数,将新列添加到任何位置。
- Dataframe.insert(loc, column, value, allow_duplicates=False)
参数作用:
接着用前面的df:
以前面的df为例,group列有A、B、C三组,year列有多个年份。我们只知道当年度的值value_1、value_2,现在求group分组下的累计值,比如A、2014之前的累计值,可以用cumsum函数来实现。
当然仅用cumsum函数没办法对groups (A, B, C)进行区分,所以需要结合分组函数groupby分别对(A, B, C)进行值的累加。
- df['cumsum_2'] = df[['value_2','group']].groupby('group').cumsum()
- df
Sample用于从DataFrame中随机选取若干个行或列。用法:
- DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)
参数作用:
比如要从df中随机抽取5行:
- sample1 = df.sample(n=5)
- sample1
- DataFrame.where(cond, other=nan, inplace=False, axis=None, level=None, errors='raise', try_cast=False, raise_on_error=None)
参数作用:
将df中列value_1里小于5的值替换为0:
- df['value_1'].where(df['value_1'] > 5 , 0)
「掩码」(英语:Mask)在计算机学科及数字逻辑中指的是一串二进制数字,通过与目标数字的按位操作,达到屏蔽指定位而实现需求。
6. Isin
Isin也是一种过滤方法,用于查看某列中是否包含某个字符串,返回值为布尔Series,来表明每一行的情况。
- Series.isin(values)
- 或者
- DataFrame.isin(values)
筛选df中year列值在['2010','2014','2017']里的行:
- years = ['2010','2014','2017']
- df[df.year.isin(years)]
8. Pct_change
Pct_change是一个统计函数,用于表示当前元素与前面元素的相差百分比,两元素的区间可以调整。
比如说给定三个元素[2,3,6],计算相差百分比后得到[NaN, 0.5, 1.0],从第一个元素到第二个元素增加50%,从第二个元素到第三个元素增加100%。
- DataFrame.pct_change(periods=1, fill_method=‘pad’, limit=None, freq=None, **kwargs)
参数作用:
对df的value_1列进行增长率的计算:
- df.value_1.pct_change()
9. Rank
Rank是一个排名函数,按照规则(从大到小,从小到大)给原序列的值进行排名,返回的是排名后的名次。
比如有一个序列[1,7,5,3],使用rank从小到大排名后,返回[1,4,3,2],这就是前面那个序列每个值的排名位置。
- rank(axis=0, method: str = 'average', numeric_only: Union[bool, NoneType] = None, na_option: str = 'keep', ascending: bool = True, pct: bool = False)
参数作用:
method=average 默认设置: 相同的值占据前两名,分不出谁是1谁是2,那么去中值即1.5,下面一名为第三名
method=max: 两人并列第 2 名,下一个人是第 3 名
method=min: 两人并列第 1 名,下一个人是第 3 名
method=dense: 两人并列第1名,下一个人是第 2 名
method=first: 相同值会按照其在序列中的相对位置定值
对df中列value_1进行排名:
- df['rank_1'] = df['value_1'].rank()
- df
10. Melt
Melt用于将宽表变成窄表,是 pivot透视逆转操作函数,将列名转换为列数据(columns name → column values),重构DataFrame。
简单说就是将指定的列放到铺开放到行上变成两列,类别是variable(可指定)列,值是value(可指定)列。
- pandas.melt(frame, id_vars=None, value_vars=None, var_name=None, value_name='value', col_level=None)
参数作用:
例如有一串数据,表示不同城市和每天的人口流动:
- import pandas as pd
- df1 = pd.DataFrame({'city': {0: 'a', 1: 'b', 2: 'c'},
- 'day1': {0: 1, 1: 3, 2: 5},
- 'day2': {0: 2, 1: 4, 2: 6}})
- df1
现在将day1、day2列变成变量列,再加一个值列:
- pd.melt(df1, id_vars=['city'])