pandas使用技巧【18】找到和移除重复行

简介: 本文介绍如何找到和移除重复行。
  • duplicated()方法
  • 查看列是否重复 
    • dataframe.colname.duplicated()

  • 查看整行是否重复
    • 

    dataframe.duplicated()

  • 查看subset是否重复
    • 

    dataframe.duplicated(subset = [])

  • drop_duplicats()方法
    
用于丢弃重复项
    • 

    dataframe.drop_duplicats()

  • 参数keep
    
keep可以为first和last，表示是选择最前一项还是最后一项保留。
    • 

    dataframe.duplicated(keep = "first")
dataframe.duplicated(keep = "last")

    也可以设置布尔类型，当设为False时候，重复项将都被显示。
    

    dataframe.duplicated(keep = "False")