如果一个csv文件过大，比如说达到好几G，直接读取的话内存估计hold不住，幸好pandas支持使用chunksize指定行数，每次按多少行多少行来读取，这样就避免了一次性读取过多数据导致内存崩溃。

用row["某个列的名称"] 即可读取该列的对应数据了，之后就可以进行数据处理了。

import pandas as pd
chunksize = 1000
count = 1
for df in pd.read_csv('1.txt',chunksize=chunksize):
	print(count)
	for index,row in df.iterrows():
		print(count,index)
		# break
		# x=row['djxh']
		# y=row[1]
		# print(index,x,y)
	count+=1

补充一段代码，有时候csv里面会有一些所谓的脏数据导致读取错误，这个时候只需要配置error_bad_lines=False 即可跳过这一行的处理，注意，是跳过，帮你自动处理是不可能的，还是要自己想办法去排除产生这个错误的原因。

通常来讲，超大csv/txt都是来自数据库的查询结果，这些超大文件里面如果有时候包含了英文的分号、逗号、单双引号、空格、换行符等符号就容易出现这种错误，处理方法通常就是在数据库查询脚本那里将这些符号提前替换掉。

import pandas as pd
chunksize = 500000
data = pd.read_csv("sample.csv",encoding='utf-8',error_bad_lines=False,chunksize=chunksize)
count = 1
for chunk in data:
	file_name = "out"+str(count)+".xlsx"
	count +=1
	chunk.to_excel(file_name,index=False)
	break
                    如果一个csv文件过大，比如说达到好几G，直接读取的话内存估计hold不住，幸好pandas支持使用chunksize指定行数，每次按多少行多少行来读取，这样就避免了一次性读取过多数据导致内存崩溃。用row["某个列的名称"] 即可读取该列的对应数据了，之后就可以进行数据处理了。import pandas as pdchunksize = 1000count = 1for df in pd.read_csv('1.txt',chunksize=chunksize):	print(cou
				
（一）HDF与h5
HDF(Hierarchical Data Format层次数据格式)是一种设计用于存储和组织大量数据的文件格式，最开始由美国国家超算中心研发，    后来由一个非盈利组织HDF Group支持。
HDF支持多种商业及非商业的软件平台，包括MATLAB、Java、Python、R和Julia等等，现在也提供了Spark。其版本包括了HDF4和现在大量用的HDF5。
h5是HDF5文件格式的后缀。h5文件对于存储大量数据而言拥有极大的优势，当csv格式的数据集太大（GB以上），pd.rea
				
PYTHON Pandas批量读取csv文件到DATAFRAME
首先使用glob.glob获得文件路径。然后定义一个列表，读取文件后再使用concat合并读取到的数据。
#读取数据
import pandas as pd
import numpy as np
import glob,os
path=r'e:\tj\month\fx1806'
file=glob.glob(os.path.join(path, "zq*.xls"))
print(file)
dl= []
for f in file:
 dl.append(pd.read_excel(f,header=[0,1],index
  首先使用office打不开
  然后在python中使用基本的pandas.read_csv打开文件时：MemoryError
  最后查阅read_csv文档发现可以分块读取。
  read_csv中有个参数chunksize，通过指定一个chunksize分块大小来读取文件，返回的是一个可迭代的对象TextFileReader，IO
head -n 2 data.csv
------------------------------------------------
,label_game_finish,u_age,u_face_score,u_gender,uhigh_value,u_mcd_avg,u_mdd_avg
0,0.0,19.0
				
第一：pandas.read_csv读取本地csv文件为数据框形式
data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')
第二：如果存在日期格式数据，利用pandas.to_datatime()改变类型
data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])
注意：=号，这样在原始的数据框中，改变了列的类型
第三：查看列类型
print(data.dtypes)
第四：方法一：保存至MYSQL【缺点耗时长】
利用MYSQLdb库，封装成一个类，实现创建表，添加数据的操作
pandas的chunk分块读取
read_chunks = pd.read_csv(csv_path, encoding='utf-8', iterator=True, chunksize=65535)
参数说明：
其中，"df"是一个Pandas数据框（DataFrame）对象，它将包含CSV文件中的数据。
如果您的CSV文件不是使用逗号作为分隔符的，您可以通过指定分隔符来读取它。例如，如果您的CSV文件使用制表符作为分隔符，您可以使用以下代码读取它：
df = pd.read_csv('data.csv', sep='\t')
通过以上步骤，您就可以使用Pandas库来读取CSV文件了。   
### 回答2：
Python是一种非常强大的编程语言，而Pandas库则是其中的一个非常重要的工具。Pandas库是一种用于数据操作和分析的Python库，也是Python中最流行的数据分析和数据处理库之一。Pandas库可以读取多种格式的数据文件，其中包括CSV文件。本篇文章将详细说明如何使用Python中的Pandas库读取CSV文件。
1. 安装Pandas库
使用Pandas库需要先安装Pandas库。可以打开Python安装器，使用pip等命令行工具安装Pandas库。
2. 导入CSV文件：
读取CSV文件需要使用 Pandas 库中的 read_csv() 函数。首先，需要将Pandas库导入Python代码中。
import pandas as pd
3. 读取CSV文件
接着，使用 Pandas 库中的 read_csv() 函数来读取 CSV 文件。read_csv() 函数的调用方式如下：
df = pd.read_csv('filename.csv')
其中，df是读取到的数据，是一个 DataFrame 对象。'filename.csv'是需要读取的CSV文件的文件名。如果CSV文件不在当前目录，需要将其路径加入文件名中，如'path\to\filename.csv'。
4. 预览数据
可以使用 head() 函数来预览数据的前几行。head() 函数的调用方式如下：
df.head()
5. 数据处理
读取到的数据在进行数据处理时需要进行一些操作。
统计数据描述信息，使用 describe() 函数，如：
df.describe()
根据列名索引数据，使用 loc() 函数，如：
df.loc[:,['col_name1','col_name2']]
使用 iloc() 函数来根据具体位置进行数据的索引：
df.iloc[[1,3,5], [1,3]]
6. 存储CSV文件
使用 Pandas 库中的 to_csv() 方法来存储 CSV 文件。to_csv() 方法的调用方式如下：
df.to_csv('filename.csv')
其中'filename.csv'为存储CSV文件的文件名。同样，如果需要将文件存储到其他目录下，则需要将文件路径添加到文件名中，如'path\to\filename.csv'。
以上就是如何使用 Python 的 Pandas 库读取 CSV 文件的全部内容。   
### 回答3：
Pandas是Python语言中非常流行的库之一，用于数据处理和分析。它允许将结构化数据表示为DataFrame，并提供了许多用于数据操作和转换的工具。因此，Pandas库是处理CSV文件的非常好的工具。
要使用Pandas库读取CSV文件，需要首先导入Pandas库。为此可以使用以下代码：
import pandas as pd
上述代码导入Pandas库并指定别名为pd，这是一种常用的方法。
接下来，可以通过使用read_csv方法从CSV文件中读取数据，并将其存储在DataFrame中。以下是一个读取CSV文件的示例代码：
df = pd.read_csv('data.csv')
上述示例将名为data.csv的文件读取到名为df的DataFrame中。如果CSV文件具有标题行，则Pandas将使用该行作为DataFrame的列名称。否则，可以通过传递header参数指定列名称。
可以使用head()方法查看DataFrame的前几行：
print(df.head())
可以使用shape属性获取数据帧的形状（行和列数）：
print(df.shape)
可以使用describe()方法来获取有关所有数字列的基本统计信息：
print(df.describe())
上述示例输出数据帧的统计信息，包括计数，平均值，标准差，最小值，25％，50％，75％和最大值。
还可以使用列名称或索引来访问数据帧的特定列:
print(df['column_name'])
最后，当完成CSV文件的处理后，可以使用to_csv()方法将数据帧写回到CSV文件中：
df.to_csv('new_data.csv', index=False)
上述示例代码将数据帧写回名为new_data.csv的新文件中，并将索引列从文件中删除（index=False）。如果不指定该参数，则默认情况下Pandas将索引列写入CSV文件。
综上所述，Pandas库提供了很多工具来方便地处理CSV文件。学习如何使用Pandas读取和操作CSV文件可以大大提高数据处理的效率。