# 根据均值、标准差,求指定范围的正态分布概率值
def
normfun(x, mu, sigma):
pdf = np.exp(-((x - mu)**2)/(2*sigma**2)) / (sigma * np.sqrt(2*
np.pi))
return
pdf
# result = np.random.randint(-65, 80, size=100) # 最小值,最大值,数量
result = np.random.normal(15, 44, 100) # 均值为0.5,方差为1
print
(result)
x = np.arange(min(result), max(result), 0.1
)
# 设定 y 轴，载入刚才的正态分布函数
print
(result.mean(), result.std())
y =
normfun(x, result.mean(), result.std())
plt.plot(x, y) # 这里画出理论的正态分布概率曲线
# 这里画出实际的参数概率与取值关系
plt.hist(result, bins=10, rwidth=0.8, density=True) # bins个柱状图,宽度是rwidth(0~1),=1没有缝隙
plt.title('distribution'
)
plt.xlabel('temperature'
)
plt.ylabel('probability'
)
plt.show() # 最后图片的概率和不为1是因为正态分布是从负无穷到正无穷,这里指截取了数据最小值到最大值的分布
根据范围生成正态分布：
result = np.random.randint(-65, 80, size=100) # 最小值,最大值,数量
根据均值、方差生成正态分布：
result = np.random.normal(15, 44, 100) # 均值为0.5,方差为1
2、判断一个序列是否符合正态分布
import numpy as np
from scipy import stats
pts = 1000
np.random.seed(28041990)
a = np.random.normal(0, 1, size=pts) # 生成1个正态分布，均值为0，标准差为1，100个点
b = np.random.normal(2, 1, size=pts) # 生成1个正态分布，均值为2，标准差为1, 100个点
x = np.concatenate((a, b)) # 把两个正态分布连接起来，所以理论上变成了非正态分布序列
k2, p = stats.normaltest(x)
alpha = 1e-3
print("p = {:g}".format(p))
# 原假设:x是一个正态分布
if p < alpha: # null hypothesis: x comes from a normal distribution
print("The null hypothesis can be rejected") # 原假设可被拒绝,即不是正态分布
else:
print("The null hypothesis cannot be rejected") # 原假设不可被拒绝,即使正态分布
3、求置信区间、异常值
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
import pandas as pd
# 求列表数据的异常点
def get_outer_data(data_list):
df = pd.DataFrame(data_list, columns=['value'])
df = df.iloc[:, 0]
# 计算下四分位数和上四分位
Q1 = df.quantile(q=0.25)
Q3 = df.quantile(q=0.75)
# 基于1.5倍的四分位差计算上下须对应的值
low_whisker = Q1 - 1.5 * (Q3 - Q1)
up_whisker = Q3 + 1.5 * (Q3 - Q1)
# 寻找异常点
kk = df[(df > up_whisker) | (df < low_whisker)]
data1 = pd.DataFrame({'id': kk.index, '异常值': kk})
return data1
N = 100
result = np.random.normal(0, 1, N)
# result = np.random.randint(-65, 80, size=N) # 最小值,最大值,数量
mean, std = result.mean(), result.std(ddof=1) # 求均值和标准差
# 计算置信区间,这里的0.9是置信水平
conf_intveral = stats.norm.interval(0.9, loc=mean, scale=std) # 90%概率
print('置信区间:', conf_intveral)
x = np.arange(0, len(result), 1)
# 求异常值
outer = get_outer_data(result)
print(outer, type(outer))
x1 = outer.iloc[:, 0]
y1 = outer.iloc[:, 1]
plt.scatter(x1, y1, marker='x', color='r') # 所有离散点
plt.scatter(x, result, marker='.', color='g') # 异常点
plt.plot([0, len(result)], [conf_intveral[0], conf_intveral[0]])
plt.plot([0, len(result)], [conf_intveral[1], conf_intveral[1]])
plt.show()
#
根据均值、标准差,求指定范围的正态分布概率值
def
_normfun(x, mu, sigma):
pdf
= np.exp(-((x - mu)**2)/(2*sigma**2)) / (sigma * np.sqrt(2*
np.pi))
return
pdf
#
求列表数据的异常点
def
get_outer_data(data_list):
df
= pd.DataFrame(data_list, columns=[
'
value
'
])
df
=
df.iloc[:, 0]
#
计算下四分位数和上四分位
Q1 = df.quantile(q=0.25
)
Q3
= df.quantile(q=0.75
)
#
基于1.5倍的四分位差计算上下须对应的值
low_whisker = Q1 - 1.5 * (Q3 -
Q1)
up_whisker
= Q3 + 1.5 * (Q3 -
Q1)
#
寻找异常点
kk = df[(df > up_whisker) | (df <
low_whisker)]
data1
= pd.DataFrame({
'
id
'
: kk.index,
'
异常值
'
: kk})
return
data1
N
= 100
result
= np.random.normal(0, 1
, N)
#
result = np.random.randint(-65, 80, size=N) # 最小值,最大值,数量
#
result = [100]*100 # 取值全相同
#
result = np.array(result)
mean, std = result.mean(), result.std(ddof=1)
#
求均值和标准差
#
计算置信区间,这里的0.9是置信水平
if
std == 0:
#
如果所有值都相同即标准差为0则无法计算置信区间
conf_intveral = [min(result)-1, max(result)+1
]
else
:
conf_intveral
= stats.norm.interval(0.9, loc=mean, scale=std)
#
90%概率
#
print('置信区间:', conf_intveral)
#
求异常值
outer =
get_outer_data(result)
#
绘制离散图
fig =
plt.figure()
fig.add_subplot(
2, 1, 1
)
plt.subplots_adjust(hspace
=0.3
)
x
= np.arange(0, len(result), 1
)
plt.scatter(x, result, marker
=
'
.
'
, color=
'
g
'
)
#
画所有离散点
plt.scatter(outer.iloc[:, 0], outer.iloc[:, 1], marker=
'
x
'
, color=
'
r
'
)
#
画异常离散点
plt.plot([0, len(result)], [conf_intveral[0], conf_intveral[0]])
#
置信区间线条
plt.plot([0, len(result)], [conf_intveral[1], conf_intveral[1]])
#
置信区间线条
plt.text(0, conf_intveral[0],
'
{:.2f}
'
.format(conf_intveral[0]))
#
置信区间数字显示
plt.text(0, conf_intveral[1],
'
{:.2f}
'
.format(conf_intveral[1]))
#
置信区间数字显示
info =
'
outer count:{}
'
.format(len(outer.iloc[:, 0]))
plt.text(min(x), max(result)
-((max(result)-min(result)) / 2), info)
#
异常点数显示
plt.xlabel(
'
sample count
'
)
plt.ylabel(
'
value
'
)
#
绘制概率图
if
std != 0:
#
如果所有取值都相同
fig.add_subplot(2, 1, 2
)
x
= np.arange(min(result), max(result), 0.1
)
y
=
_normfun(x, result.mean(), result.std())
plt.plot(x, y)
#
这里画出理论的正态分布概率曲线
plt.hist(result, bins=10, rwidth=0.8, density=True)
#
bins个柱状图,宽度是rwidth(0~1),=1没有缝隙
info =
'
mean:{:.2f}\nstd:{:.2f}\nmode num:{:.2f}
'
.format(mean, std, np.median(result))
plt.text(min(x), max(y)
/ 2
, info)
plt.xlabel(
'
value
'
)
plt.ylabel(
'
Probability
'
)
else
:
fig.add_subplot(
2, 1, 2
)
info
=
'
non-normal distribution!!\nmean:{:.2f}\nstd:{:.2f}\nmode num:{:.2f}
'
.format(mean, std, np.median(result))
plt.text(
0.5, 0.5
, info)
plt.xlabel(
'
value
'
)
plt.ylabel(
'
Probability
'
)
plt.savefig(
'
./distribution.jpg
'
)
plt.show()
print
(time.strftime(
'
%Y-%m-%D %H:%M:%S
'
))
