当使用pyarrow读取CSV文件时，如何为所有列指定一个dtype？开发者社区

相关文章推荐

酒量小的小蝌蚪 · css边框闪烁呼吸样式 - CSDN文库· 10 月前 ·

高大的蟠桃 · 【js】Date对象与字符串之间的转换_js ...· 1 年前 ·

乐观的卤蛋 · 【每日技巧】自适应文本框 - 掘金· 1 年前 ·

仗义的柳树 · Error: cannot ...· 1 年前 ·

机灵的烈马 · c - Alternative to ...· 2 年前 ·

腾讯云

开发者社区

文档意见反馈控制台

首页 TVP

文章/答案/技术大牛

发布

import gcsfs
import pyarrow.dataset as ds
fs = gcsfs.GCSFileSystem(project='my-google-cloud-project')
my_dataset = ds.dataset("bucket/foo/bar.csv", format="csv", filesystem=fs)
my_dataset.to_table()

ArrowInvalid                              Traceback (most recent call last)
........py in <module>
----> 65 my_dataset.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/_dataset.pyx:491, in pyarrow._dataset.Dataset.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/_dataset.pyx:3235, in pyarrow._dataset.Scanner.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/error.pxi:143, in pyarrow.lib.pyarrow_internal_check_status()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/error.pxi:99, in pyarrow.lib.check_status()
ArrowInvalid: In CSV column #172: Row #28: CSV conversion error to int64: invalid value '6.58841482364418'

import pyarrow as pa
import pyarrow.csv as csv
import pyarrow.dataset as ds
column_types = {'a': pa.float64(), 'b': pa.float64(), 'c': pa.float64()}
convert_options = csv.ConvertOptions(column_types=column_types)

推荐文章

酒量小的小蝌蚪 · css边框闪烁呼吸样式 - CSDN文库

10 月前

高大的蟠桃 · 【js】Date对象与字符串之间的转换_js date转字符串-CSDN博客

1 年前

乐观的卤蛋 · 【每日技巧】自适应文本框 - 掘金

1 年前

仗义的柳树 · Error: cannot allocate vector of size 88.1 Mb问题_毛里里求斯的博客-CSDN博客

1 年前

机灵的烈马 · c - Alternative to immintrin.h - Stack Overflow

2 年前

Stack Overflow用户