相关文章推荐
狂野的麦片  ·  基于 TMDB ...·  2 周前    · 
有胆有识的椰子  ·  Pandas ...·  2 周前    · 
兴奋的草稿纸  ·  如何从spark scala ...·  1 周前    · 
发呆的春卷  ·  spark ...·  1 周前    · 
千杯不醉的消炎药  ·  全面战争战锤3 ...·  1 年前    · 
import pandas as pd
df = pd.DataFrame({'key1':list('aabba'),
                  'key2': ['one','two','one','two','one'],
                  'data1': np.random.randn(5),
                  'data2': np.random.randn(5)})

得到的df表格如下所示:

key1key2data1data2
0aone-0.1461410.074790
1atwo-0.4742470.758113
2bone-1.3796791.863705
3btwo-0.290600-0.228977
4aone0.8321280.857522

1、使用单特征对表格进行划分

现在先简单使用表格中的特征’key1’对数据进行划分:

grouped=df.groupby(['key1'])
for name ,group in grouped:
    print(name)
    print(group)

得到的划分结果如下所示:

在这里插入图片描述
通过上面这个图可以发现grouped=df.groupby([‘key1’])的作用是根据“key1”的不同值将表格df分为两个部分,第一个部分是“key1=a”,第二个部分是“key1=b”。用其它特征进行划分原理一样。

现在我们不仅是用“key1”对表格进行划分,同时还要对划分之后的表格求其中特征的均值,例如用以下代码求划分后的特征的均值:

grouped = df.groupby(['key1']).mean()
grouped

其输出结果如下:
在这里插入图片描述
通过上图可以发现,通过“key1”对表格df划分为两部分之后,再对两部分中的“data1”和“data2”进行求平均值操作。这里不对“key2”进行求平均值操作,因为特征“key2”是文本类信息,没有平均值,所以不进行求平均值操作。

2、使用多特征对表格进行划分

上面讨论了使用一个特征对表格df进行分组,现在使用多个特征对表格df进行划分,简单地分析,使用特征“key1”和“key2”对表格进行划分,那会输出什么呢?输入以下代码:

for name, group in df.groupby(['key1','key2']):
    print("划分的特征值:",name)
    print(group,'\n')

得到的输出结果如下:
在这里插入图片描述
通过上面这个图可以发现,因为现在要使用两个特征对表格进行划分,特征“key1”和特征“key2”同样有两个类别,因此组合得到的划分情况有四种,根据不同的划分组合得到符合要求的划分表格,这样就得到了上图中的情况。当使用三个或者四个特征对表格进行划分的时候,组合的个数更多,同时会划分得更加细致。具体原理是一样的。

2.1 对表格中的部分特征进行划分

在上面介绍多特征对表格进行划分的时候,我们是基于整个表格进行划分的,如果我们只想针对其中的部分特征进行划分,具体又该怎么操作呢?我们现有有下面这个表格,如果我们只想对其中的“data1”和“data2”基于“key1”进行划分,该怎么操作呢?
在这里插入图片描述
输入以下代码:

for name, group in df[['data1','data2','key1']].groupby(['key1']):
    print("划分的特征值:",name)
    print(group,'\n')

得到的输出结果如下图所示:
在这里插入图片描述
其实这个和最开始介绍的对整个表格进行划分的原理是一样的,但是需要注意的是,代码不能写成下面的形式:

for name, group in df[['data1','data2']].groupby(['key1']):
    print("划分的特征值:",name)
    print(group,'\n')

这样的代码是错误的,这段代码和前一段代码的差别主要在于df[[‘data1’,‘data2’]]中没有了’key1’,这样是不行的,因为这样的意思是我们选取了表格中的’data1’列和’data2’列,但是没有选取’key1’列,这样数据中没有’key1’,是没有办法进行划分的。

3、具体应用在什么地方

上面说了很多对于groupby的功能介绍,但是这个东西究竟能用在什么地方呢?这里简单举一个例子。

现在有一个场景,有两家商店1和2,每家商店有a,b,c三种商品,每家商店的每种商品都有各自的日销售额,现在要快速得到每家商店每种商品的月销售额,那么我们就可以使用groupby来进行操作。

具体的数据如下:

import pandas as pd
df = pd.DataFrame({'shop_id':list('111111222222'),
                  'item_id': list('abcabcabcabc'),
                  'item_daysales': list([1,2,3,4,5,6,1,2,3,4,5,6])})

我们得到的表格具体如下所示:

shop_iditem_iditem_daysale
01a1
11b2
21c3
31a4
41b5
51c6
62a1
72b2
82c3
92a4
102b5
112c6

现在我们需要计算每家商店每种商品的月销售额,使用groupby进行操作,具体代码如下:

grouped = df.groupby(['shop_id','item_id']).sum().reset_index()
grouped.rename(columns={'item_daysale' : 'item_monthsale'})

代码中的第一步是使用“shop_id”和“item_id”对表格进行分类,这样因为商店有两种,商品有三种,对于每一家商店都有三种情况,划分后记进行求和操作就可以得到每家商店的月销售额,代码中的resent_index()的作用是保留作为划分的“shop_id”和“item_id”,如果去掉则输出的是另一种表格形式。第二段代码是对其中的“item_daysale”特征进行改名。

这样得到的最后的输出如下如所示:

shop_iditem_iditem_monthsale
01a5
11b7
21c9
32a5
42b7
52c9

这样便完成了对销售额的月总和计算。

如果我们代码中没有输入resent_index(),则输出如下所示:

shop_iditem_iditem_monthsale
1a5
b7
c9
2a5
b7
c9

这并不是我们想要的输出,我们希望输出的列项有“shop_id”,“item_id”和“item_monthsale”。所以得根据具体需要什么来写代码实现。

——————————
参考博客:https://blog.csdn.net/youngbit007/article/details/54288603

首先先创建一个表格:import pandas as pddf = pd.DataFrame({'key1':list('aabba'), 'key2': ['one','two','one','two','one'], 'data1': np.random.randn(5), 'dat...
pandas提供了一个灵活高效的groupby功能,它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键(可以是函数、数组或DataFrame列名)拆分pandas对象。计算分组摘要统计,如计数、平均值、标准差,或用户自定义函数。对DataFrame的列应用各种各样的函数。应用组内转换或其他运算,如规格化、线性回归、排名或选取子集等。计算透视表或交叉表。执行分位数分析以及其他分组分析。 groupby分组函数:   返回值:返回重构格式的DataFrame,特别注意,groupby里面的字段内的数据重构后都会变成索引   groupby(),一般和sum()、mean
DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=NoDefault.no_default, observed=False, dropna=True) 分组操作涉及到分离对象、应用函数和组合结果的一些组合。这可以用于对大量数据进行分组,并计算对这些分组的操作。 by:用于确定 groupby 的组。 如果 by 是一个函数,它会在对象索引的每个值上调 groupby函数功能:对DataFrame进行分组(可单类分组,可多类分组) 需求:按“字段”列对数据data进行分组 groupby函数基本格式:data.groupby([‘分组字段’]) data:要分组的原始数据 分组字段:分组参考的数据列名 原数据data: 单类分组举例 根据“班级”进行分组: import pandas as pd data = pd.read_excel('/Users/weihairui/Doc 一、groupby 能做什么? pythongroupby函数主要的作用是进行数据的分组以及分组后地组内运算! 对于数据的分组和分组运算主要是指groupby函数的应用,具体函数的规则如下: df.groupby([df[属性],df[属性])(指分类的属性,数据的限定定语,可以有多个).mean()(对于数据的计算方式——函数名称) 举例如下: print(df[“评分”].groupby([df[“地区”],df[“类型”]]).mean()) Pythonpandas包提供的数据聚合与分组运算功能很强大,也很灵活。《Python for Data Analysis》这本书第9章详细的介绍了这方面的用法,但是有些细节不常用就容易忘记,遂打算把书这部分内容总结在博客里,以便复习查看。根据书的章节,这部分知识包括以下四部分: 1.GroupBy Mechanics(groupby技术) 2.Data Aggregation(... In [2]: df = pd.DataFrame({'A': ['a', 'b', 'a', 'c', 'a', 'c', 'b', 'c'], ...: 'B': [2, 8, 1, 4, 3, 2, 5, 9], ...: 'C': [102, 98, 107, 10...