df = pd.DataFrame(data = data) # 初始化一个dataframe
df_string = StringIO(df.to_csv()) # 这里不能先建立好StringIO对象,再向里面写string, 否则会报错
del df
print(df)
df = pd.read_csv(df_string)
以上代码是将dataframe对象暂存到一个内存文件中, 当我们需要的时候,再从内存文件中还原出原始的dataframe。
这样做有什么好处那?比如,在使用redis作为暂存的时候,我们无法将dataframe直接存储到redis,需要先转换成
string类型。但是,pandas并没有提供直接从string转换回dataframe的工具,这时候,我们就可以使用内存文件,然后
利用pandas的read_csv方法来帮我们实现这个任务了。
这个时候,一定已经有人想到了,是不是使用pickle来做这件事请更好那?ok,给大家看看代码:
import pickle
df_bytes = pickle.dumps(df)
del df
df = pickle.loads(df_bytes)
简单,完美,ok
pandas DataFrame 常用技巧 – dataframe String互相转换import pandas as pdimport StringIOdata = {1:{'a':1, 'b':2, 'c':3}2:{'a':2, 'b'3, 'c':4}}df = pd.DataFrame(data = data) # 初始化一个dataframedf_string =...
这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
from pyspark.sql import SparkSession
# 初始化spark会话
spark = SparkSession \
.builder \
.getOrCreate()
spark_df = spark.createDataFrame(pandas_df)
spark的dataframe转pandas的dataframe
import pandas as pd
pandas_d
data=[{name:Amay,age:20,result:80},
{name:Tom,age:32,result:90}]
df=pd.DataFrame(data,columns=['name','age','result'])
print(df)
datafrma如下,现在要给其添加上表格框线。利用texttable。
tb=Texttable()
tb.set_cols_align(['l','r','r'])
tb.set_cols_dtype(['t','i','i'
属性和数据
DataFrame.axes #index: 行标签;columns: 列标签
DataFrame.as_matrix([columns]) #转换为矩阵
DataFrame...
datetime64[ns] 这应该是numpy中的一种时间数据类型
str 字符类型
object 一种通用的数据类型,在没有明确指定类型下,所有数据都可认为是object类型
bool_ Boolean (True or False) stored as a byte
int_ Default integer type (same as C long; normally either in
ValueError: could not convert string to float
问题描述:在数据采集的过程中,由于各种原因导致一些错误发生,而使得存入txt或者csv的数据并不一定是“数”,可能会出现空值或者类似’-0.6827.1’这样的值。当用pandas读取数据之后,调用data.info()显示列的类型为object,列中单元格存的是string格式,如图:
data=pd.DataFrame(data,dtype=np.float)
把数据转换成float类型,
将DataFrame转换成字符串可以使用DataFrame的to_string()方法。该方法将DataFrame转换为字符串,并返回一个字符串对象。例如:
```python
import pandas as pd
# 创建DataFrame
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [7, 8, 9]})
# 将DataFrame转换为字符串
df_str = df.to_string()
# 打印字符串
print(df_str)
输出结果为:
A B C
0 1 4 7
1 2 5 8
2 3 6 9
可以看到,to_string()方法将DataFrame转换为了字符串,并且按照表格的形式输出。