R语言中的特殊值及缺失值NA的处理方法

R语言中存在一些空值(null-able values),当我们进行数据分析时,理解这些值是非常重要的。

通常来说,R语言中存在:

  • Inf/-Inf
  • 这四种数据类型在R中都有相应的函数用以判断。

    NA即Not available,是一个 长度为1的逻辑常数 ,通常代表缺失值。NA可以被强制转换为任意其他数据类型的向量。

    > a <- NA
    > class(a)
    [1] "logical"
    > length(a)
    [1] 1
    

    可以采用is.na()进行判断。另外,NA和“NA”不可以互换。

    NULL是一个对象(object),当表达式或函数产生无定义的值或者导入数据类型未知的数据时就会返回NULL。

    > b <- NULL
    > class(b)
    [1] "NULL"
    > length(b)
    [1] 0
    

    可以采用is.null()进行判断。

    NaN即Not A Number,是一个长度为1的逻辑值向量

    > c <- NaN
    > class(c)
    [1] "numeric"
    > length(c)
    [1] 1
    > is.finite(c)
    [1] FALSE
    

    可以采用is.nan()进行判断。另外,我们可以采用is.finite()或is.infinite()函数来判断元素是有限的还是无限的,而对NaN进行判断返回的结果都是False。

    Inf/-Inf

    Inf即Infinity无穷大,通常代表一个很大的数或以0为除数的运算结果,Inf说明数据并没有缺失(NA)。

    > d <- Inf
    > class(d)
    [1] "numeric"
    > length(d)
    [1] 1
    

    可以采用is.finite()或is.finite()进行判断。

    对缺失值NA的处理

    理解完四种类型数值以后,我们来看看该采取什么方法来处理最最常见的缺失值NA。

    小白学统计在推文《有缺失值怎么办?系列之二:如何处理缺失值》里说“处理缺失值最好的方式是什么?答案是:没有最好的方式。或者说,最好的方式只有一个,预防缺失,尽量不要缺失。

    1 直接删除法

    在缺失数很少且数据量很大的时候,直接删除法的效率很高,而且通常对结果的影响不会太大。

    如数据框df共有1000行数据,有10行包含NA,不妨直接采用函数na.omit()来去掉带有NA的行,也可以使用tidyr包的drop_na()函数来指定去除哪一列的NA。

    drop_na(df,X1) # 去除X1列的NA
    

    2 填充法

    用其他数值填充数据框中的缺失值NA。

    2.1 df[is.na(df)]
    df[is.na(df)] = 0
    
    2.2 replace_na()

    使用tidyr包的replace_na()函数。

    replace_na(df$X1,5) # 把df的X1列中的NA填充为5
    
    2.3 fill()

    使用tidyr包的fill()函数将上/下一行的数值填充至选定列中NA。

    fill(df,X1,.direction = "up") # 将NA下一行的值填充到df的X1列中的NA
    

    除此之外,类似原理的填充法还有均值填充法(用该变量的其余数值的均值来填充)、LOCF(last observation carried forward)、BOCF(baseline observation carried forward)、WOCF(worst observation carried forward)等。

    3 虚拟变量法

    当分类自变量出现NA时,把缺失值单独作为新的一类。

    在性别中,只有男和女两类,虚拟变量的话以女性为0,男性为1。如果出现了缺失值,可以把缺失值赋值为2,单独作为一类。由于将缺失值赋值,在统计时就不会把它当做缺失值删除,避免了由于这一个变量缺失而导致整个观测值被删除的情况。

    4 回归填补法

    假定有身高和体重两个变量,要填补体重的缺失值,我们可以把体重作为因变量,建立体重对身高的回归方程,然后根据身高的非缺失值,预测体重的缺失值。

    参考资料:

  • 谢俊飞《R语言中特殊值NaN、Inf 、NA、NULL》
    https://www.jianshu.com/p/9cf36b084e83
  • 《R null values: NULL, NA, NaN, Inf》
    https://www.r-bloggers.com/2018/07/r-null-values-null-na-nan-inf/