当使用pyarrow读取CSV文件时，如何为所有列指定一个dtype？开发者社区

相关文章推荐

稳重的啤酒 · C语言读取csv文件并保存到二维数组 - C羽言 · 1 月前 ·

慷慨大方的毛巾 · java解析CSV文件三种方法(openCS ...· 1 月前 ·

活泼的弓箭 · 使用opencsv实现Csv与Java对象转 ...· 1 月前 ·

大力的熊猫 · log或者txt文本处理，关键数据提取并存到 ...· 3 周前 ·

体贴的松树 · 性能测试--Jmeter随机生成/随机选取/ ...· 2 周前 ·

开朗的大脸猫 · 日期及時間 | Microsoft Learn· 1 年前 ·

严肃的黄瓜 · 论文阅读：A Brief Survey ...· 1 年前 ·

奔放的包子 · python 包降级 ...· 1 年前 ·

乐观的西瓜 · php将base64转为图片保存到服务器_需 ...· 2 年前 ·

买醉的机器猫 · WPF中DataGrid如何去掉选中行的单元 ...· 2 年前 ·

腾讯云

开发者社区

文档意见反馈控制台

首页 TVP

文章/答案/技术大牛

发布

import gcsfs
import pyarrow.dataset as ds
fs = gcsfs.GCSFileSystem(project='my-google-cloud-project')
my_dataset = ds.dataset("bucket/foo/bar.csv", format="csv", filesystem=fs)
my_dataset.to_table()

ArrowInvalid                              Traceback (most recent call last)
........py in <module>
----> 65 my_dataset.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/_dataset.pyx:491, in pyarrow._dataset.Dataset.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/_dataset.pyx:3235, in pyarrow._dataset.Scanner.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/error.pxi:143, in pyarrow.lib.pyarrow_internal_check_status()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/error.pxi:99, in pyarrow.lib.check_status()
ArrowInvalid: In CSV column #172: Row #28: CSV conversion error to int64: invalid value '6.58841482364418'

import pyarrow as pa
import pyarrow.csv as csv
import pyarrow.dataset as ds
column_types = {'a': pa.float64(), 'b': pa.float64(), 'c': pa.float64()}
convert_options = csv.ConvertOptions(column_types=column_types)

推荐文章

稳重的啤酒 · C语言读取csv文件并保存到二维数组 - C羽言

1 月前

慷慨大方的毛巾 · java解析CSV文件三种方法(openCSV)_java opencsv

1 月前

活泼的弓箭 · 使用opencsv实现Csv与Java对象转换（CSV） - xiaogh

1 月前

大力的熊猫 · log或者txt文本处理，关键数据提取并存到csv文件

3 周前

体贴的松树 · 性能测试--Jmeter随机生成/随机选取/csv读取关键字 - Wilson_Blogs

2 周前

开朗的大脸猫 · 日期及時間 | Microsoft Learn

1 年前

严肃的黄瓜 · 论文阅读：A Brief Survey of Deep Reinforcement Learning-CSDN博客

1 年前

奔放的包子 · python 包降级 python包升级_mob6454cc6d5f87的技术博客_51CTO博客

1 年前

乐观的西瓜 · php将base64转为图片保存到服务器_需要点灵感的博客-CSDN博客

2 年前

买醉的机器猫 · WPF中DataGrid如何去掉选中行的单元格边框？_百度知道

2 年前

Stack Overflow用户