数据特征分析-相关性分析

一、图示初判

通过pandas做散点矩阵图进行初步判断

df1 = pd.DataFrame(np.random.randn(200,4)*100,columns=['A','B','C','D'])
pd.plotting.scatter_matrix(df1,figsize=(12,12),diagonal='kde',marker='o',range_padding=0.1)

二、Pearson相关系数（皮尔森相关系数）

前提条件：数据满足正太分布

皮尔森相关系数，也称皮尔森积矩相关系数，是一种线性相关关系。

衡量向量相似度的一种方法，输出范围为-1到1,0，0代表无相关性，负值为负相关，正值为正相关。

公式意义：分子为，(x-x的均值) 乘以 (y-y的均值)的累计和；分母为，(x-x的均值)的累计和的平方根乘以 (y-y的均值)的累计和的平方根

|r| <= 0.3 → 不存在线性相关

0.3 < |r| <= 0.5 → 低度线性相关

0.5 < |r| <= 0.8 → 显著线性相关

|r| > 0.8 → 高度线性相关

1.皮尔森相关系数的推导

from scipy import stats
s1 = pd.Series(np.random.rand(100)*100).sort_values()
s2 = pd.Series(np.random.rand(100)*50).sort_values()
df = pd.DataFrame({'value1':s1.values,'value2':s2.values}) 
u1,u2 = df['value1'].mean(),df['value2'].mean()
std1,std2 = df['value1'].std(),df['value2'].std()
print('value1正太性检验结果：',stats.kstest(df['value1'],'norm',(u1,std1))) #需要先验证满足正太分布
print('value2正太性检验结果：',stats.kstest(df['value2'],'norm',(u2,std2)))
df['(x-u1)*(y-u2)'] = (df['value1'] - u1) * (df['value2'] - u2)
df['(x-u1)**2'] = (df['value1'] - u1) ** 2
df['(y-u2)**2'] = (df['value2'] - u2) ** 2
print(df.head(3))
r = df['(x-u1)*(y-u2)'].sum()/(np.sqrt(df['(x-u1)**2'].sum()) * np.sqrt(df['(y-u2)**2'].sum()))
print('皮尔森相关系数为%.4f'%r)

value1正太性检验结果： KstestResult(statistic=0.09073501372253845, pvalue=0.36300244109659735)
value2正太性检验结果： KstestResult(statistic=0.11608587123064174, pvalue=0.12471026010748129)
     value1    value2  (x-u1)*(y-u2)    (x-u1)**2   (y-u2)**2
0  2.727329  0.101045    1163.135987  1864.420003  725.633345
1  4.566353  0.296802    1105.504546  1708.987866  715.125206
2  6.132681  0.308134    1063.167351  1581.937521  714.519254
皮尔森相关系数为0.9699

2.pandas的corr()方法

上述方法为计算过程，可使用pandas的corr()方法直接生成相关系数矩阵

s1 = pd.Series(np.random.rand(100)*100).sort_values()
s2 = pd.Series(np.random.rand(100)*50).sort_values()
df = pd.DataFrame({'value1':s1.values,'value2':s2.values})
r = df.corr()  #参数默认为pearson
print(r)
#           value1    value2
# value1  1.000000  0.988596
# value2  0.988596  1.000000

三、Sperman秩相关系数（斯皮尔曼相关系数）

皮尔森相关系数只能用于分析服从正态分布的连续变量的相关性，对于不服从正态分布的变量，可采用Sperman秩相关系数进行相关性分析。

Sperman秩相关系数，也称等级相关系数。如果数据中没有重复值，并且当两个变量完全单调相关时，斯皮尔曼相关系数则为+1或−1。

计算逻辑：对两个变量的取值按照从小到大顺序编秩，如果两个值大小相等，则秩次为(index1+index2)/2,

1.spearman相关系数的推导

df = pd.DataFrame({'智商':[106,86,100,101,99,103,97,113,112,110],'每周看电视小数':[7,0,27,50,28,29,20,12,6,17]})
n = len(df)
df.sort_values('智商',inplace = True)
df['range1'] = np.arange(1,n+1)
df.sort_values('每周看电视小数',inplace = True)
df['range2'] = np.arange(1,n+1)
df['d'] = df['range1'] - df['range2']
df['d**2'] = df['d'] ** 2
rs = 1 - 6 * (df['d**2'].sum())/(n*(n**2-1))
print('斯皮尔曼相关系数为%.4f'%rs)
# 斯皮尔曼相关系数为-0.1758

2.pandas的corr()方法

corr()默认为pearson相关系数，添加参数method='spearman'转化为spearman相关系数。

df = pd.DataFrame({'智商':[106,86,100,101,99,103,97,113,112,110],'每周看电视小数':[7,0,27,50,28,29,20,12,6,17]})
rs = df.corr(method='spearman')
print(rs)
#                   智商        每周看电视小数
# 智商            1.000000       -0.175758
# 每周看电视小数   -0.175758       1.000000