【Python】基于某些列删除数据框中的重复值

Python按照 某些列去重 ，可用 drop_duplicates函数轻松处理 。本文致力用简洁的语言介绍该函数。

本文目录

1. drop_duplicates函数介绍
2. 加载数据
3. 按照某一列去重实例 3.1 按照某一列去重(参数为默认值) 3.2 按照某一列去重(改变keep值) 3.3 按照某一列去重(inplace=True)
4. 按照多列去重实例

一、drop_duplicates函数介绍

drop_duplicates函数可以 按某列去重 ，也可以 按多列去重 。具体语法如下：

DataFrame.drop_duplicates(subset=None,keep='first',inplace=False)

代码解析：

DataFrame： 待去重的数据框 。

subset： 用来指定特定的列，根据指定的列对数据框去重 。默认值为None，即DataFrame中一行元素全部相同时才去除。

keep： 对重复值的处理方式，可选{'first', 'last', 'False'} 。默认值first，即保留重复数据第一条。若选last为保留重复数据的最后一条，若选False则删除全部重复数据。

inplace： 是否在原数据集上操作。 默认值False，即把原数据copy一份，在copy数据上删除重复值，并返回新数据框(原数据框不改变)。值为True时直接在原数据视图上删重，没有返回值。

二、加载数据

加载有重复值的数据，并展示数据。

# coding: utf-8
import os             #导入设置路径的库
import pandas as pd  #导入数据处理的库
import numpy as np   #导入数据处理的库
os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值')  #把路径改为数据存放的路径
name = pd.read_csv('name.csv',sep=',',encoding='gb18030')
name

得到结果：

注： 后文所有的数据操作都是在原始数据集name上进行。

三、按照某一列去重

1 按照某一列去重(参数为默认值)

按照name1对数据框去重。

new_name_1 = name.drop_duplicates(subset='name1')
new_name_1

得到结果：

从结果知， 参数为默认值 时，是在 原数据的copy上删除数据，保留重复数据第一条并返回新数据框 。

感兴趣的可以打印name数据框，删重操作不影响name的值。

2 按照某一列去重(改变keep值)

2.1 实例一(keep='last')

按照name1对数据框去重，并设置keep='last'。

new_name_1 = name.drop_duplicates(subset='name1',keep='last')
new_name_1

得到结果：

从结果知，参数keep='last'，是在原数据的copy上删除数据， 保留重复数据最后一条 并返回新数据框，不影响原始数据框name。

2.2 实例二(keep=False)

按照name1对数据框去重，并设置keep=False。

new_name_2 = name.drop_duplicates(subset='name1',keep=False)
new_name_2

得到结果：

从结果知，参数keep=False，是把原数据copy一份，在copy数据框中 删除全部重复数据 ，并返回新数据框，不影响原始数据框name。

3 按照某一列去重(inplace=True)

按照name1去重，并设置 inplace=True 。

new_name_3 = name.drop_duplicates(subset='name1',inplace=True)
new_name_3

结果中new_name_3的值为空，即设置 inplace=True 时没有返回结果，是在原始数据框name上直接进行操作。打印name可得结果：

‍

结果和按照某一列去重(参数为默认值)是一样的。

如果想 保留原始数据框 直接用 默认值 即可，如果想直接在原始数据框删重可设置参数 inplace=True 。

四、按照多列去重

对多列去重和一列去重类似，只是原来根据一列是否重复删重。现在要根据指定的列判断是否存在重复（顺序也要一致才算重复）删重。

接下来看一个实例：

new_name = name.drop_duplicates(subset=['name1','relation'])
new_name

得到结果：

原始数据中只有第二行和最后一行存在重复，默认保留第一条，故删除最后一条得到新数据框。

想要 根据更多列数去重 ，可以 在subset中添加列 。如果不写subset参数，默认值为None，即DataFrame中一行元素全部相同时才去除。

从上文可以发现，在Python中用drop_duplicates函数可以轻松地对数据框进行去重。

但是对于两列中元素顺序相反的数据框去重，drop_duplicates函数无能为力。

如需处理这种类型的数据去重问题，参见本公众号中的文章 【Python】基于多列组合删除数据框中的重复值 。

-end-