The problem is that a single nan value makes all the array nan :

>> from scipy.stats import zscore
>> zscore(df["a"])
array([ nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan])
What's the correct way to apply zscore (or an equivalent function not from scipy) to a column of a pandas dataframe and have it ignore the nan values? I'd like it to be same dimension as original column with np.nan for values that can't be normalized
edit: maybe the best solution is to use scipy.stats.nanmean and scipy.stats.nanstd? I don't see why the degrees of freedom need to be changed for std for this purpose:
zscore = lambda x: (x - scipy.stats.nanmean(x)) / scipy.stats.nanstd(x)
Answers
Well the pandas' versions of mean and std will hand the Nan so you could just compute that way (to get the same as scipy zscore I think you need to use ddof=0 on std):
df['zscore'] = (df.a - df.a.mean())/df.a.std(ddof=0)
print df
        a    zscore
0     NaN       NaN
1  0.0767 -1.148329
2  0.4383  0.071478
3  0.7866  1.246419
4  0.8091  1.322320
5  0.1954 -0.747912
6  0.6307  0.720512
7  0.6599  0.819014
8  0.1065 -1.047803
9  0.0508 -1.235699
  
# python
 
 
  
Python
 
Python社区为您提供最前沿的新闻资讯和知识内容
 
  加入社区
 
  
更多推荐
 

          如何重塑熊猫。系列

          如何使用“pip install”在 Windows 上安装 NumPy?

          在哪里可以找到有关 Keras 中默认权重初始化器的文档? [复制]
 
 
如何重塑熊猫。系列
 
问题:如何重塑熊猫。系列 在我看来,它就像 pandas.Series 中的一个错误。 a = pd.Series([1,2,3,4]) b = a.reshape(2,2) b b 有类型 Series 但无法显示,最后一条语句给出异常,非常冗长,最后一行是“TypeError: %d format: a number is required, not numpy.ndarray”。 b.sha
 
 Python
 
 
如何使用“pip install”在 Windows 上安装 NumPy?
 
问题:如何使用“pip install”在 Windows 上安装 NumPy? 我想使用pip install numpy命令安装NumPy,但出现以下错误: RuntimeError: Broken toolchain: cannot link a simple C program 我正在使用Windows 732 位、Python 2.7.9、pip 6.1.1 和一些MSVC编译器。我认为
 
 Python
 
 
在哪里可以找到有关 Keras 中默认权重初始化器的文档? [复制]
 
问题:在哪里可以找到有关 Keras 中默认权重初始化器的文档? [复制] 我刚刚在这里](https://keras.io/initializers/)中阅读了有关[中的 Keras 权重初始化器的信息。在文档中,只介绍了不同的初始化程序。如: model.add(Dense(64, kernel_initializer='random_normal')) 当我没有指定kernel_initia
 
 Python
 
 
 28
 
 0
 
 0
 
 0
 
 
  
 
扫一扫分享内容
    点击复制链接
 
 分享
 
所有评论(0)