遇到大型的csv文件时，pandas会把该文件全部加载进内存，从而导致程序运行速度变慢。
本文提供了批量读取csv文件、读取属性列的方法，减轻内存占用情况。

import pandas as pd
input_file = 'data.csv'
读取前多少行
 
加载前100000行数据
 
df = pd.read_csv(input_file, nrows=1e5)
查看每个字段占用的系统内存的情况
 
df.info(memory_usage='deep')
设置 memory_usage 的参数为 ‘deep’ 时，深度检查对象中的内存使用情况，包括对象中可能包含的其他对象（如列表、数组或其他数据结构）。若不设置deep参数，memory_usage 只会返回一个对象的基础内存使用情况，这主要基于对象本身的内存占用，而不考虑它可能引用的其他对象。
 
 如上图所示，前100000行数据共占用220.MB内存。
 
查看每列属性的内存占用情况；
 
item = df.memory_usage(deep=True)
针对每个属性列的字节数进行求和，使用/ (1024 ** 2)，实现1B到1MB的单位转换。验证了所有属性列的内存占用确实为 220.8MB。
 
内存占用从高到低降序排列：
 
df.memory_usage(deep=True).sort_values(ascending=False)
读取属性列
 
可能我们只关心， 一整张表中的某几个属性，比如：'企业名称', '经营范围'。那么便无需把整张表加载进内存。
 
df2 = pd.read_csv(input_file, nrows=1e5, usecols=['企业名称', '经营范围'])
查看一下内存占用
 
df2.memory_usage(deep=True).sum() / (1024 ** 2)

 只读取两个属性列，内存占用只有33MB。
 
逐块读取整个文件
 
pd.read_csv(input_file, chunksize=1e3, nrows=1e5)
 
nrows=1e5: 读取100000条数据；
chunksize=1e3: 每一块是1000条数据；
 
故1e5条数据，应该由100块1e3的数据组成；
 
# 分批次读取, 每chunksize是一个批次
chunk_dfs = pd.read_csv(input_file, chunksize=1e3, nrows=1e5)
v = 0
cnt = 0
# 每个chunk_df 都是 dataframe 类型数据
for chunk_df in chunk_dfs:
    print(chunk_df.shape)
    cnt += 1
    v += chunk_df.shape[0]
print(v, cnt)

 上图验证了，总共处理了1e5条数据，分成了100块进行读取。
 
pd.read_csv(input_file, nrows, usecols, chunksize)
nrows: 读取多少行数据；
usecols: 读取哪些属性列的数据；
chunksize：分块读取，每一块的大小是多少条数据；
 
推荐 | 如何处理远超电脑内存的csv文件
                    遇到大型的csv文件时，pandas会把该文件全部加载进内存，从而导致程序运行速度变慢。本文提供了批量读取csv文件、读取属性列的方法，减轻内存占用情况。nrows: 读取多少行数据；usecols: 读取哪些属性列的数据；chunksize：分块读取，每一块的大小是多少条数据；
				
问题：对于一个数据量很大的csv文件进行操作时，一次性全部读取出来再出来可以很耗时间和资源；
解决方法：1、可以考虑分片读取（一片500或1000或者视情况而定），按照片数依次处理；
         2、考虑多线程，将数据一次性读出，然后分多线程同时处理。
# 分片处理csv文件
def chunk_csv(file1, chunk_size=500):
    输入csv：html_content_id
    每500个id为一组，读库--查库--获得h...
				
当python读取较大的csv文件时，可能会遇到内存不足的问题。这是因为python将整个文件加载到内存中进行处理，导致消耗较大的内存空间。为了解决这个问题，可以采取以下几种方法：
1. 使用pandas库的read_csv()函数，并设置chunksize参数来逐块读取csv文件。这将使得每次只加载部分文件数据到内存中，从而降低内存的消耗。可以使用for循环迭代处理每个数据块。
2. 使用csv模块的reader函数逐行读取csv文件。这种方法不会加载整个文件到内存中，而是一行一行地读取和处理数据。这样可以有效地节省内存空间。
3. 将csv文件转换为数据库文件，如SQLite或MySQL。然后使用相应的python库连接到数据库，只需读取需要的数据，而不需要一次性加载整个文件到内存中。
4. 对于非常大的csv文件，可以考虑使用分布式计算框架，如Apache Spark。Spark提供了处理大规模数据集的能力，并可以在分布式环境下运行。
5. 优化代码，尽可能减少内存占用。例如，避免创建不必要的变量，使用生成器而不是列表来存储数据等。
需要根据具体情况选择适合的方法来解决内存不足的问题。通过合理地利用内存资源和优化代码，可以有效地读取较大的csv文件。