df[df.duplicated(subset=["one"],keep="last")]
df[df.duplicated(subset=["one"],keep=False)]
1、构造dataframeimport pandas as pdimport numpy as npdf=pd.DataFrame(np.arange(16).reshape(4,4),columns=["sh","bj","sz","gz"],index=["one","two","three","four"])2、筛选出"sh"列大于5的数据法一：直接筛选，适用于一些比较简单直接的筛选，这种方式方便快捷。df[df["sh"]>5]法二：函数筛选，适用于比较复杂的条件筛选，函
df.loc[df['column_name'] == some_value]
# 选取某列是否是某一类型的数值 用 isin
df.loc[df['column_name'].isin(some_values)]
# 多种条件的选取 用 &
df.loc[(df['column'] == some_value) & df['other_column'].isin(some_values)]
# 选取不等于某些值的行记录 用 ！=
df.loc[df['column_name'] != some_value]
在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：
CPU：3.5 GHz Intel Core i7
内存：32 GB HDDR 3 1600 MHz
硬盘：3 TB Fusion Drive
数据分析工具
Python：2.7.6
Pandas：0.15.0
IPython n
以网页表格为例：https://www.kuaidaili.com/free/
该网站数据存在table标签，直接用requests，需要结合bs4解析正则/xpath/lxml等，没有几行代码是搞不定的。
今天介绍的黑科技是pandas自带爬虫功能，pd.read_html()，只需传人url，一行代码搞定。
原网页结构如下：
python代码如下：
import pandas as pd\nurl='http://www.kuaidaili.com/free/'
df=pd.read_html(url)[0]
# [0]：表示第一个table，多个table需要指定，如果不指定默认第一个
日常用Python做数据分析最常用到的就是查询筛选了，按各种条件、各种维度以及组合挑出我们想要的数据，以方便我们分析挖掘。
今天我给大家总结了日常查询和筛选常用的种骚操作，供各位学习参考。本文采用sklearn的boston数据举例介绍。喜欢本文记得收藏、关注、点赞。
【注】完整代码、数据资料、文末提供技术交流群
from sklearn import datasets
import pandas as pd
boston = datasets.load_boston()
df = pd.DataFram
df = pd.DataFrame({'A':[100, 100, 200, 300, 400],
'B':['a', 'a', 'c', 'd', 'e'],
'C':[3, 2, 1, 5, 4]})
生成出来的表如下所示：
1. 背景概述
日常的数据分析中，经常遇到需要根据各种不同的条件从数据集中筛选相应的数据记录，再进行提取、分析、替换、修改等操作。因此，筛选是数据分析中使用频率很高的功能。一般而言，通常是使用for循环在数据中进行筛选，本文总结了在python中常用的并且使用效率比较高的几种数据筛选函数如：isin(), query(), contrains()，以及它们的实践示例。
2. 筛选方法和函数简介
简单的筛选方法：
单一的筛选条件或值
df.loc[df[“column_name”] == value]
list1 结构:
名字，ID，颜色，数量，类型。
list1 = [['a',1,255,100,'03'],['a',2,481,50,'06'],['a',47,255,500,'03']，['b',3,1,50,'11']]
list2结构:
名字，类型,颜色。
list2 = [['a','03',255],[...
### 回答1：
可以使用pandas库读取csv文件并进行数据处理。使用pandas.read_csv()函数可以读取csv文件并将其存储在pandas DataFrame中。例如：
import pandas as pd
data = pd.read_csv("data.csv")
读取完csv文件后，可以使用DataFrame的各种函数进行数据处理，如筛选、排序、统计等。最后使用to_csv函数存储到新的csv文件中
data.to_csv("new_data.csv",index=False)
### 回答2：
Python pandas是一个数据处理库，其灵活的数据结构和数据分析能力使得它在数据处理和分析领域中受到广泛关注。其中的CSV（Comma Separated Value，逗号分隔值）文件也是广泛使用的一种数据格式。
要使用pandas处理CSV文件，需要先安装pandas库。在安装好pandas库之后，可以使用read_csv()函数将CSV文件读取到pandas的DataFrame对象中进行处理。read_csv()函数有各种不同的参数选项，用于读取不同格式的CSV文件。
常见的CSV文件可以包含各种数据类型，包括字符串、整数、浮点数、日期等。pandas可以使用不同的数据类型来自动识别每一列的数据类型，也可以手动指定每一列的数据类型，从而更好地处理数据。pandas提供了一些函数来对数据进行操作，例如dropna()函数可以删除包含缺失值的行或列，fillna()函数可以用指定值填充缺失值，groupby()函数可以将数据按照指定的列进行分组。
另外，pandas还可以将数据保存到CSV文件中，使用to_csv()函数可以将DataFrame对象写入到CSV文件中，并且可以指定文件的格式和各种参数。to_csv()函数可以保存到本地文件，也可以保存到在线存储库或数据库中。
总之，pandas是一个非常强大和灵活的数据处理库，可以方便地处理各种数据类型，包括CSV文件。使用pandas可以提高数据处理和分析的效率，并且具有较好的可读性和可维护性。
### 回答3：
Python pandas是一个开源数据分析库，它提供了丰富的数据结构和函数，可以高效地处理大规模数据，并提供方便的数据分析工具，如数据过滤、排序、分组、汇总、时序数据处理等。其中，pandas的CSV数据处理功能极为强大，让我们能够轻松地读取和处理CSV数据。
CSV（Comma Separated Values）是一种常见的数据格式，通常由逗号分隔不同字段。pandas提供了read_csv()函数，可以读取CSV文件，并将其转换为pandas DataFrame对象，方便数据分析和处理。下面是一个简单的读取CSV文件的代码示例：
import pandas as pd
data = pd.read_csv('data.csv')
print(data.head())
在读取CSV文件时，我们可以通过可选参数设置一些读取选项，例如分隔符、数据类型、缺失值表示方式等。例如，将分隔符设置为制表符：
data = pd.read_csv('data.csv', delimiter='\t')
读取CSV数据后，我们可以使用pandas DataFrame对象的各种函数进行数据分析和处理。例如，使用head()函数显示前若干行数据：
print(data.head(10))
使用describe()函数汇总数据的各种统计信息：
print(data.describe())
使用groupby()函数按照某个字段分组，并进行统计：
grouped_data = data.groupby('category').sum()
print(grouped_data)
pandas还提供了to_csv()函数，可以将处理后的数据保存为CSV文件，便于后续处理和分析。
总之，pandas是一款强大的数据处理工具，对于需要处理大规模的CSV数据的工作来说，是一个非常实用的工具。合理利用pandas中的CSV数据处理功能，我们能够更轻松地处理和分析数据，提高工作效率。
