今天项目有个需求，就是把txt文件转为csv，txt之间是空格隔开，转为csv时需要把空格转换为逗号，网上找的一个版本，只需要三行代码，特别犀利：

import numpy as np
import pandas as pd
data_txt = np.loadtxt('datas_train.txt')
data_txtDF = pd.DataFrame(data_txt)
data_txtDF.to_csv('datas_train.csv',index=False)
上述的datas_train.txt只有不到100MB，560W行数据，三分钟之内转换完毕。 
 然后我换了一个5600W行共1.2G的txt文本，用上述代码转换，电脑直接卡死了。 
 原因在于上述代码会把全部的txt加载进内存，然后再转换，这就会造成电脑内存耗尽。 
 然后就想到了切割数据的办法，具体实现如下：
 
import numpy as np
import pandas as pd
train_data = pd.read_table('big_data.txt',iterator=True,header=None)
while True:
    try:
        chunk = train_data.get_chunk(5600000)
        chunk.columns = ['user_id','spu_id','buy_or_not','date']
        chunk.to_csv('big_data111.csv', mode='a',header=False,index = None)
    except Exception as e:
        break
 
这里我把数据分成了小块，每块数据有560W行，分11次加载就能全部加载完了，速度也很快，总共花了5分钟左右。 
 注意，get_chunk()里面的参数表示文件的行数，而非字节数。
with open('data.txt', 'r') as in_file:
    # 将文件读取为csv
    reader = csv.reader(in_file, delimiter=',')
    # 将数据写入csv文件
import csv
with open(r'D:\Lessondocuments\python\github items\Python-GCNMK-main\Python-GCNMK-main\tedata.csv','w') as f:
    f_csv=csv.writer(f)
    for line in open(r'D:\Lessondocuments\python\github items\Python.
import pandas as pd
df = pd.read_csv('datas/donations.csv', nrows=10000)  # nrows设置读取数据的行数
donation_src_table = pd.DataFrame(df, columns=['projectid', 'is_teacher_acct']) # 可以从CSV中提取固...
#data的数据类型为pandas.core.frame.DataFrame
#delim_whitespace=True 以空格为分隔符
data = pd.read_table('./SST_region30.130.2004-01-01.txt',header=None, delim_whi...
                                    今天需要处理几个比较大的 txt 文件，每个文件都在 2GB 以上，直接用 Excel 将其转换成 csv 文件显然是不太可行的，于是用 Python 中的数据处理神器 Pandas，三行代码就能搞定，在此记录，希望对大家也有所帮助。csv 文件在数据处理时候比较方便，一般我们都会使用 csv 格式做进一步处理，而不是直接使用 txt。转换主要使用的是 Pandas 中的 read_csv() 和...
在此，我们利用python中的numpy和pandas两个函数库对于txt文件进行格式修改。
首先，我们需要安装所需的函数库，在命令行中找到/python/Script路径用以下指令进行下载。
pip install pandas
pip inst
[外链图片转存失败(img-zQSQWAyQ-1563597916666)(C:\Users\innduce\AppData\Roaming\Typora\typora-user-images\1557663419920.png)]
import pandas as pd
import numpy as np
data = pd.read_csv(r'平均值.csv')
print(data.columns)#获取列索引值
data1 = data['flow']#获取列名为flow的数据作为新列的数据
data['cha'
                                    Hello！ଘ(੭ˊᵕˋ)੭昵称：海轰标签：程序猿｜C++选手｜学生简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！唯有努力💪本文仅记录自己感兴趣的内容文章仅作为个人学习笔记记录，记录从0到1的一个过程希望对您有一点点帮助，如有错误欢迎小伙伴指正。