在科研生活中,我们可能在数据测试中得到很多份csv数据,这些数据只有两列,我们在后续数据处理中可能想把这些数据放在origin中绘图,其中所有数据的x轴(即第一列数据)都相同,我们想将y轴都整合在新的文件里,保存一列x轴数据,这样方便origin作图。因此,这里记录如何通过python代码快速实现整合。

该问题用代码进行处理的思路是这样:

  1. 首先需要知道这些文件所处的路径位置
  2. 接着逐次读取每份文件,并提取某列数据
  3. 建立空列表,将提取出来的数据写入新的工作表中
#!/usr/bin/env python
# coding: utf-8
# In[1]:
import os
import csv
import pandas as pd
def all_csv(file_PATH = r'D:\desk\\test\\',save_file="数据整合.csv"):
该函数实现了提取多份csv文件的某列数据到新的工作表中,具体步骤为:
建立新列表,用于暂时存储提取出来的数据;
获取需要整合文件所在的文件夹位置;
使用for循环遍历文件夹的文件,逐份读取文件;
接着由于想要保留一个x轴的数据,这里使用条件语句,提取第一份文件的x与y轴数据,其他文件仅提取第二列数据,即y轴数据;
将提取的数据逐个加到所建立的空列表中;
使用concat函数将列表元素按列整合;
将整合好的数据写入新的工作表;
    df_list = [] #创建新列表用来存储提取出来的列表
    tqdm=os.listdir(file_PATH)#文件夹中的文件列表
    for i in range(0,len(tqdm)):#逐次遍历文件夹下的文件
        files_path = os.path.join(file_PATH,tqdm[i])#对应文件夹下的某份文件
        df = pd.read_csv(files_path)##读取CSV文件数据
        #这里实现提取第一份数据的x与y轴数据,其他文件只提取y轴数据
        if i ==0:
            data = df.iloc[:,:]#选取文件中某行某列数据
        else:
            data = df.iloc[:,1]
        df_list.append(data)#将选取的数据添加到列表
    df2 = pd.concat(df_list,axis=1)#将列表数据按列合并,axis=1表示按列整合
    save_path=os.path.join(file_PATH,save_file)#定义保存存放整合后数据的路径
    df2.to_csv(save_path,index=False)#将整合好的数据输入到新建的csv文件中
if __name__ == "__main__":
    all_csv(file_PATH = r'D:\desk\\test\\',save_file="数据整合.csv")

【注意】该份代码仅适合用于整合csv文件,不适合用于xlsx文件。

提取多份csv文件特定的列整合到新的csv工作表中在科研生活中,我们可能在数据测试中得到很多份csv数据,这些数据只有两列,我们在后续数据处理中可能想把这些数据放在origin中绘图,其中所有数据的x轴(即第一列数据)都相同,我们想将y轴都整合在新的文件里,保存一列x轴数据,这样方便origin作图。因此,这里记录如何通过python代码快速实现整合。该问题用代码进行处理的思路是这样:首先需要知道这些文件所处的路径位置接着逐次读取每份文件,并提取某列数据建立空列表,将提取出来的数据写入新的工作 1.大量csv文件,以数字命名,如1.csv、2.cvs等; 2.逐个打开,对csv文件的某一进行格式修改; 3.将更改后的内容写入csv文件。 解决思路: 先读取需处理的csv文件名,去除文件夹下的无用文件,得到待处理文件地址名称和文件保存的地址名称,分别读取每一个csv文件进行处理后写入文件。 if __name__ == '__main__': filenames_in = '../Train_data/' # 输入文件文件地址
Python ,可以使用 csv 模块来读取 CSV 文件提取的某几。 下面是一个简单的示例,展示了如何提取 CSV 文件的第一和第三: import csv # 打开 CSV 文件 with open('data.csv', 'r') as f: # 创建 CSV 阅读器 reader = csv.reader(f) # 读取每行数据 for...
#read csv data1 = pd.read_csv(r'tem.csv',sep=';',header='infer') #select specific columns data1 = pd.read_csv(r'tem.csv',sep=';',header='infer',usecols=[0,1,3]) #set column headers data1.columns = ['y','m','numbe.. # 打开要读取的csv文件 with open('input.csv', 'r') as input_file: reader = csv.reader(input_file) # 打开要写入的csv文件 with open('output.csv', 'w', newline='') as output_file: writer = csv.writer(output_file) # 遍历每一行数据 for row in reader: # 提取指定的数据 extracted_data = [row[i] for i in columns_to_extract] # 将提取的数据写入csv文件 writer.writerow(extracted_data) 在上面的示例代码,我们指定了要提取索引,然后打开要读取的csv文件遍历每一行数据,提取指定的数据并将其写入csv文件。注意要使用`newline=''`来避免写入csv文件时出现空行。