简单了解Python读取大文件代码实例

作者:沉默的赌徒

这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

通常对于大文件读取及处理,不可能直接加载到内存中,因此进行分批次小量读取及处理

I、第一种读取方式

一行一行的读取,速度较慢
def read_line(path): with open(path, 'r', encoding='utf-8') as fout: line = fout.readline() while line: line = fout.readline() print(line)

II、第二种读取方式

设置每次读取大小,从而完成多行快速读取
def read_size(path): with open(path, "r", encoding='utf-8') as fout: while 1: buffer = fout.read(8 * 1024 * 1024) if not buffer: break print(buffer)

III、第三种读取方式

使用itertools模块,islice返回的是一个生成器,可以用list格式化
from itertools import islice def read_itertools(path): with open(path, 'r', encoding='utf-8') as fout: list_gen = islice(fout, 0, 5) # 两个参数分别表示开始行和结束行 for line in list_gen: print(line)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

您可能感兴趣的文章:
  • python 的赋值语句和基本输入输出详解
    python 的赋值语句和基本输入输出详解
    2021-12-12
  • Python全栈之递归函数
    Python全栈之递归函数
    2021-11-11
  • Python利用Selenium实现自动观看学习通视频
    Python利用Selenium实现自动观看学习通视频
    2021-12-12
  • Python技巧之变长和定长序列拆分
    Python技巧之变长和定长序列拆分
    2021-12-12
  • Python Pyqt5多线程更新UI代码实例(防止界面卡死)
    Python Pyqt5多线程更新UI代码实例(防止界面卡死)
    2021-12-12
  • 详解Python函数中的几种参数
    详解Python函数中的几种参数
    2021-12-12
  • Python解压可迭代对象赋值给多个变量详解
    Python解压可迭代对象赋值给多个变量详解
    2021-12-12
  • Python爬虫采集微博视频数据
    Python爬虫采集微博视频数据
    2021-12-12
  • 美国设下计谋,用娘炮文化重塑日本,已影响至中国
    美国设下计谋,用娘炮文化重塑日本,已影响至中国
    2021-11-19
  • 时空伴随者是什么意思?时空伴随者介绍
    时空伴随者是什么意思?时空伴随者介绍
    2021-11-09
  • 工信部称网盘企业免费用户最低速率应满足基本下载需求,天翼云盘回应:坚决支持,始终
    工信部称网盘企业免费用户最低速率应满足基本下载需求,天翼云盘回应:坚决支持,始终
    2021-11-05
  • 2022年放假安排出炉:五一连休5天 2022年所有节日一览表
    2022年放假安排出炉:五一连休5天 2022年所有节日一览表
    2021-10-26
  • 电脑版 - 返回首页

    2006-2023 脚本之家 JB51.Net , All Rights Reserved.
    苏ICP备14036222号