Pandas在合并多个CSV文件后为输出文件添加标题

0 人关注

import pandas as pd
import os
file1 = 'https://public.fyers.in/sym_details/NSE_CM.csv'
file2 = 'https://public.fyers.in/sym_details/NSE_FO.csv'
file3 = 'https://public.fyers.in/sym_details/BSE_CM.csv'
CHUNK_SIZE = 10 ** 6
csv_file_list = [file1, file2, file3]
output_file = "/content/output.csv"
for csv_file_name in csv_file_list:
  skipRows = [2022,92805]
  chunk_container = pd.read_csv(csv_file_name, chunksize=CHUNK_SIZE, skiprows=skipRows)
  for chunk in chunk_container:
    headerList =["fytoken", "symbol", "instrumentType","lotSize","tickSize","ISIN","tradingSession","lastUpdate","expiryDate","symbolTicker","exchange","segment","scripCode","scripName","scripToken","strikePrice","optionType"]
    chunk.to_csv(output_file,header=headerList, mode="a", index=False)
我想合并这三个CSV文件，并在输出文件中添加标题。
但它返回的输出文件在每个CSV的开头都有标题（在输出文件中）。


         2
         
         个评论


           
            就像文件被合并了，但它有标题，你不希望这样。对吗？


           
            你正在分块读取文件，并为每个分块添加
            
             header
            
            。


         python


         pandas

csv


        
         
         
          Siddharth Mankar
         
        
        
         发布于
         
         2022-07-07


        1
        
        个回答


          已采纳


         0
         
         人赞同


          
           你正在分块阅读内容，并为每块内容附加
           
            header
           
           。
          
          
           相反，请尝试以下。
          
          import pandas as pd
file1 = 'https://public.fyers.in/sym_details/NSE_CM.csv'
file2 = 'https://public.fyers.in/sym_details/NSE_FO.csv'
file3 = 'https://public.fyers.in/sym_details/BSE_CM.csv'
CHUNK_SIZE = 10 ** 6
csv_file_list = [file1, file2, file3]
output_file = "./content/output.csv"
headerList = ["fytoken", "symbol", "instrumentType", "lotSize", "tickSize", "ISIN", "tradingSession",
              "lastUpdate", "expiryDate", "symbolTicker", "exchange", "segment", "scripCode", "scripName",
              "scripToken", "strikePrice", "optionType"]
df = pd.DataFrame(columns=headerList)
df.to_csv(output_file, index=False)
for csv_file_name in csv_file_list:
    skipRows = [2022, 92805]

推荐文章

神勇威武的红酒 · Python dat文件读入 python读取dat文件内容_mob64ca1406d617的技术博客_51CTO博客

2 周前

威武的单杠 · Pandas中日期由“YYYYMMDD”改为“YYYY-MM-DD“_pandas datetime转化成yyyy.mm.dd-CSDN博客

1 周前

有胆有识的椰子 · Pandas dataframe数据处理方法速度比较_pandas千万行数据筛选要多久-CSDN博客

6 天前

奔跑的风衣 · pandas高效读取大文件的探索之路 - wang_yb - 博客园

6 天前

坏坏的羽毛球 · 数据分析利器 pandas 系列教程（六）：合并上百万个 csv 文件，如何提速上百倍-腾讯云开发者社区-腾讯云

6 天前

闷骚的冲锋衣 · 福建省人民检察院_案例指导

2 月前

爱旅游的汽水 · 古剑奇谭3怀曦长相 - 百度

3 月前

小猫猫 · 一篇文章带你学会向量数据库Milvus（一） - 掘金

4 月前

旅途中的西装 · 关于举办2021年重庆大学 “我们的美好时代”摄影暨短视频大赛的通知 - 通知公告简报 - 重庆大学新闻网

5 月前

热心肠的鸡蛋 · 动漫壁纸&美图 | 仙剑奇侠传（游戏）&&其他游戏 - 知乎

8 月前