相关文章推荐
文雅的山楂  ·  [Code] python 字典 —— ...·  2 周前    · 
逼格高的酱牛肉  ·  python json ...·  6 天前    · 
大鼻子的书包  ·  设置Android ...·  1 年前    · 
近视的桔子  ·  Pandas for ...·  1 年前    · 
豁达的丝瓜  ·  基于Django LayUI ...·  1 年前    · 


1. 读取 txt 文件

如果这样读取,

file = open('../data/entries_en.txt', 'r')
data = file.readlines()

会报内存不足

需要改成:

with open('../file.txt', 'r') as f:
for line in f:
# do stuff

这是逐行读取文件,而不是一次全部读取到 RAM

2. 读取 tdms 文件

查看 30 GB 的tdms 数据文件

file_keys = TdmsFile(file_dir).objects.keys()   # 查看keys
for key in file_keys:
print(key)

报错

MemoryError: Unable to allocate 26.4 GiB for an array with shape (3540000000

改为

with TdmsFile.open(file_dir) as tdms_file:
file_keys = tdms_file.objects.keys()
print(file_keys)

即可正常运行!!