贝叶斯网络简介

贝叶斯推断思路

具体例子推导可见 here

贝叶斯网络

贝叶斯网络结构如下所示，其是有特征节点和链接构成的有向无环图。节点上是概率P(A),P(B)… 连接上是条件概率P(A|B) P(A|C) … 即若有A指向B的连接，则连接代表的就应为P(B|A)，更多信息可参考以下内容，这里不再赘述，贝叶斯网络结构本身不困难，其难点主要在于推理算法等数值计算问题，如为应用则无需深究。
贝叶斯网络发展及其应用综述
《贝叶斯网络引论》@张连文
静态贝叶斯网络

贝叶斯网络的实现

泰坦尼克数据集背景介绍

模型结构搭建

from pgmpy.models import BayesianModel
from pgmpy.estimators import BayesianEstimator
#model = BayesianModel([('Age', 'Pri'), ('Sex', 'Pri'),('Pri','Survived'),('Fare','Pclass'),('Pclass','Survived'),('Cabin','Survived')])
model = BayesianModel([('Age', 'Survived'), ('Sex', 'Survived'),('Fare','Pclass'),('Pclass','Survived'),('Cabin','Survived')])
其中(‘Age’, ‘Survived’)表示Age指向Survived
 
pgmpy没有提供可视化，这里简单用graphviz实现了一下。
 
def showBN(model，save=False):
    '''传入BayesianModel对象，调用graphviz绘制结构图，jupyter中可直接显示'''
    from graphviz import Digraph
    node_attr = dict(
     style='filled',
     shape='box',
     align='left',
     fontsize='12',
     ranksep='0.1',
     height='0.2'
    dot = Digraph(node_attr=node_attr, graph_attr=dict(size="12,12"))
    seen = set()
    edges=model.edges()
    for a,b in edges:
        dot.edge(a,b)
    if save:
        dot.view(cleanup=True)
    return dot
showBN(model)    
模型参数构建
 
接下来就是确定网络的参数，也就是各个边上的条件概率。
 若手工填入，可这样写
 




    
 
from pgmpy.factors.discrete import TabularCPD
#构建cpd表
my_cpd= TabularCPD(variable='Pclass', variable_card=3,
                      values=[[0.65, 0.3], [0.30, 0.6],[0.05,0.1]],
                      evidence=['Fare'], evidence_card=[2])
# 填cpd表
model.add_cpds(my_cpd)
# 执行检查（可选，用于检查cpd是否填错）
cancer_model.check_model()                 
但在此例子里，使用参数学习的办法从数据里自动学习。
 参数学习有两种典型方法，极大似然估计和贝叶斯估计。因为前者的过拟合严重，一般都使用后者进行参数学习。pgmpy提供的贝叶斯估计器提供三种先验分布的支持，‘dirichlet’, ‘BDeu’, ‘K2’，实际上都是dirichlet分布，这里解释下贝叶斯估计器的工作原理。
 
贝叶斯估计器
 
在贝叶斯分析的框架下，待求参数θ被看做是随机变量，对他的估计就是在其先验上，用数据求后验，因此先要有对θ的先验假设。而我们通常取的先验分布就是dirichlet（狄利克雷）分布。对于一个含有i个离散状态的节点，我们设其参数为
 并令其先验为狄利克雷分布D[α1，α2…αi]（i=2时也称beta分布）
 

 这个先验有i个参数，数学上证明了，这些参数就相当于将先验表达成了α个虚拟样本，其中满足X=xi的样本数为αi，这个α就成为等价样本量（equivalent_sample_size）。这个巧合其实正式先验函数取这个函数的缘由，另外，其计算后的后验分布也是狄利克雷分布（称这种行为叫共轭先验）。注：各个分布可参考 https://zhuanlan.zhihu.com/p/37976562
 至此可以理解pgmpy提供的贝叶斯估计器的参数的含义了。
 其定义为estimate_cpd(node, prior_type=‘BDeu’, pseudo_counts=[], equivalent_sample_size=5)
 node是节点名
 当prior_type=‘BDeu’ 就表示选择了一个equivalent_sample_size=5的无差别客观先验，认定各个概率相等，不提供信息，但并不是没用，这个先验起到了类似神经网络里头控制过拟合的正则项的作用。
 当prior_type='dirichlet’表示选择一般的狄利克雷分布，这时候要主动填入[α1，α2…αi]
 当prior_type= ‘K2’ 意为 ‘dirichlet’ + setting every pseudo_count to 1
 具体使用如下：
 
data = pd.DataFrame(data={'A': [0, 0, 1], 'B': [0, 1, 0], 'C': [1, 1, 0]})
model = BayesianModel([('A', 'C'), ('B', 'C')])
estimator = BayesianEstimator(model, data)
cpd_C = estimator.estimate_cpd('C', prior_type="dirichlet", pseudo_counts=[1, 2])
model.add_cpds(cpd_C)
上面是一个一个填进去的，在本例中有更简单的方法，就是利用提供的fit函数，一并估计各个cpd（条件概率），即
 
model.fit(train, estimator=BayesianEstimator, prior_type="BDeu") # default equivalent_sample_size=5
直接把前面处理得到dataframe 传入即可。这里记录一个bug：pgmpy目前将离散变量命名限制为从0开始，所以本例子里的Pclass 项从（1/2/3等级）都减一处理成了（0/1/2等级）以解决此问题。
 dirichlet也可在fit函数里使用，只要传入pseudo_counts字典即可，如下面这样
 
pseudo_counts = {'D': [300, 700], 'I': [500, 500], 'G': [800, 200], 'L': [500, 500], 'S': [400, 600]}
model.fit(data, estimator=BayesianEstimator, prior_type='dirichlet', pseudo_counts=pseudo_counts)
到此为止，模型已经完全构建完毕，下面可以开始使用其进行推理了。
 
首先可以通过一些方法查看模型
 
#输出节点信息
print(model.nodes())
#输出依赖关系
print(model.edges())
#查看某节点概率分布
print(model.get_cpds('Pclass').values)
当然我们更关心的是给定某些节点后，感兴趣节点的概率等，这就是推理。
 贝叶斯网络推理分成：
 1.后验概率问题：
 表达为求P（Q|E=e） 其中Q为查询变量 E为证据变量
 即如本例子里已知一个人，女，<15岁，高票价，问生还几率是多少？
 2.最大后验假设问题（MAP）：
 
 已知证据E时，对某些变量的转态组合感兴趣（称假设变量H），找最可能组合就是最大后验假设问题。如本例子里，问一个活下来的女乘客最可能有是什么舱段，年龄？
 3.最大可能解释问题（MPE）：是2的特例，即假设包含网络里所有非证据变量（同时也可包含证据变量）
 
贝叶斯网络推理主要有两类方法，精确推理（变量化简Variable Elination和置信传播）和近似推理(如mcmc采样)，一般精确推理足以解决
 pgmpy解决1可以用query函数 解决2，3可以用map_query函数
 通过这些查询可以获得我们感兴趣的关于因果关系信息，这是贝叶斯网络模型的一大优势。此处的因果关系并不可以解释为一般意义上的逻辑因果，而是表示一种概率上的相关，比如我们不能将P(天亮了|公鸡打鸣)很高解释为是因为公鸡打鸣天才亮的。
 
from pgmpy.inference import VariableElimination
model_infer = VariableElimination(model)
q = model_infer.query(variables=['Survived'], evidence={'Fare': 0})
print(q['Survived'])
+------------+-----------------+
| Survived   |   phi(Survived) |
+============+=================+
| Survived_0 |          0.6341 |
+------------+-----------------+
| Survived_1 |          0.3659 |
+------------+-----------------+
q = model_infer.map_query(variables=['Fare','Age','Sex','Pclass','Cabin'], evidence={'Survived': 1})
print(q)#{'Sex': 0, 'Fare': 0, 'Age': 1, 'Pclass': 2, 'Cabin': 0}
上面的代码使用了VariableElimination方法，亦可用BeliefPropagation，其有相同的接口。
 
与fit函数类似，也提供了输入dataframe的简便推理方法predict，如下
 只要剔除想预测的列输入predict函数，就可以得到预测结果的dataframe
 
predict_data=test.drop(columns=['Survived'],axis=1)
y_pred = model.predict(predict_data)
print((y_pred['Survived']==test['Survived']).sum()/len(test))
#测试集精度0.8131868131868132
只是用了泰坦尼克数据集的一部分特征随手设计网络就可以达到不错的效果了，精度81.3%，上传kaggle的正确率0.77990。
 
自动设计网络结构->使用结构学习方法
 
ref：
 https://github.com/pgmpy/pgmpy_notebook
 《贝叶斯网络引论》
 
自动设计网络结构的核心问题有两个，一个是评价网络好坏的指标，另一个是查找的方法。穷举是不可取的，因为组合数太大，只能是利用各种启发式方法或是限定搜索条件以减少搜索空间，因此产生两大类方法，Score-based Structure Learning与constraint-based structure learning 以及他们的结合hybrid structure learning。
 1.Score-based Structure Learning
 这个方法依赖于评分函数，常用的有bdeu k2 bic，更合理的网络评分更高，如下面的例子
 此例子随机产生x y 并令z=x+y，显然X -> Z <- Y的结构合理
 
import pandas as pd
import numpy as np
from pgmpy.estimators import BdeuScore, K2Score, BicScore
from pgmpy.models import BayesianModel
# create random data sample with 3 variables, where Z is dependent on X, Y:
data = pd.DataFrame(np.random.randint(0, 4, size=(5000, 2)), columns=list('XY'))
data['Z'] = data['X'] + data['Y']
bdeu = BdeuScore(data, equivalent_sample_size=5)
k2 = K2Score(data)
bic = BicScore(data)
model1 = BayesianModel([('X', 'Z'), ('Y', 'Z')])  # X -> Z <- Y
model2 = BayesianModel([('X', 'Z'), ('X', 'Y')])  # Y <- X -> Z
print(bdeu.score(model1))
print(k2.score(model1))
print(bic.score(model1))
print(bdeu.score(model2))
print(k2.score(model2))
print(bic.score(model2))
-13936.101051153362
-14326.88012027081
-14292.1400887
-20902.744280734016
-20929.567083476162
-20946.7926535
X -> Z <- Y 的评分更高
 而依据评分函数进行搜索的搜索方法常用的有穷举（5个节点以下可用）和 爬山算法（一个贪婪算法）pympy的实现如下：
 
from pgmpy.estimators import HillClimbSearch
# create some data with dependencies
data = pd.DataFrame(np.random.randint(0, 3, size=(2500, 8)), columns=list('ABCDEFGH'))
data['A'] += data['B'] + data['C']
data['H'] = data['G'] - data['A']
hc = HillClimbSearch(data, scoring_method=BicScore(data))
best_model = hc.estimate()
print(best_model.edges())
#[('A', 'C'), ('A', 'B'), ('C', 'B'), ('G', 'A'), ('G', 'H'), ('H', 'A')]
2.Constraint-based Structure Learning
 比如根据独立性得到最优结构的方法，相对来讲前一种更有效
 
from pgmpy.independencies import Independencies
ind = Independencies(['B', 'C'],
                     ['A', ['B', 'C'], 'D'])
ind = ind.closure()  # required (!) for faithfulness
model = ConstraintBasedEstimator.estimate_from_independencies("ABCD", ind)
print(model.edges())
#[('A', 'D'), ('B', 'D'), ('C', 'D')]
回到泰坦尼克的例子，使用HillClimbSearch试了以下，在自己的测试集得到了和之前手工设计网络相同的精度（kaggle测试成绩略低一些），但是模型结构更复杂，不过看看给出的模型可以发现一些有趣的东西，比如Cabin Pclass Fare 相关，Age还影响了Sex等等
 
from pgmpy.estimators import HillClimbSearch
from pgmpy.estimators import BdeuScore, K2Score, BicScore
hc = HillClimbSearch(train, scoring_method=BicScore(train))
best_model = hc.estimate()
#print(best_model.edges())
showBN(best_model)
best_model.fit(train, estimator=BayesianEstimator, prior_type="BDeu") # default equivalent_sample_size=5
predict_data=test.drop(columns=['Survived'],axis=1)
y_pred = best_model.predict(predict_data)
(y_pred['Survived']==test['Survived']).sum()/len(test)#测试集精度
#0.8131868131868132
这里摘录一些下文对先验的介绍
 ref:Bayesian Methods for Hackers chp6
 
贝叶斯先验可以分为两类:客观先验和主观先验。客观先验的目的是让数据对后验影响最大，主观先验的目的是让从业者对前验表达自己的观点。
 事实上，从选择先验分布开始就已经开始搭建模型了，属于建模的一部分。如果后验不符合要求，自然可修改更换先验，这是无关紧要的。没有正确的模型，只有有用的模型。
 经验贝叶斯方法
 一种叫经验贝叶斯方法融合了频率派的做法，采用 数据>先验>数据>后验 的方法，从观测数据的统计特征构建先验分布。这种方法实则违背了贝叶斯推理 先验>数据>后验 的思路。
 从专家获得先验分布
 可以考虑实验转盘赌法捕获专家认为的先验分布形状。做法是让专家吧固定总数的筹码放在各个区间上以此来表达各个区段的概率，如下所示。之后可用合适的分布对此进行建模拟合，得到专家先验。
 
 判断先验是否合适
 只要先验在某处概率不为零，后验就有机会在此处表达任意的概率。当后验分布的概率堆积在先验分布的上下界时，那么很肯先验是不大对的。（比如用Uniform（0,0.5）作为真实值p=0.7的先验，那么后验推断的结果会堆积在0.5一侧，表明真实值极可能大于0.5）
 
练手数据集
 
Binary Classification
 
Indian Liver Patient Records
Synthetic Financial Data for Fraud Detection
Business and Industry Reports
Can You Predict Product Backorders?
Exoplanet Hunting in Deep Space
Adult Census Income
 
Multiclass Classification
 
Iris Species
Fall Detection Data from China
Biomechanical Features of Orthopedic Patients
 
链接: https://pan.baidu.com/s/1Im_Ls_Nul-swY9vrTueViw 提取码: 7isb
                    文章目录贝叶斯网络简介贝叶斯推断思路贝叶斯网络贝叶斯网络的实现应用步骤泰坦尼克数据集背景介绍模型结构搭建模型参数构建贝叶斯估计器推理自动设计网络结构-&gt;使用结构学习方法模型保存先验下载本文的相关数据集，代码见文末百度云贝叶斯网络简介贝叶斯网络是一种置信网络，一个生成模型。（判别模型，生成模型的区分可以这样：回答p(label|x)即样本x属于某一类别的可能的，就是判别模型，而回答p(x...
				
pgmpy
 pgmpy是一个用于处理概率图形模型的python库。
 支持的文档和算法列表在我们的官方网站使用pgmpy的示例：  :  使用pgmpy的概率图形模型基础教程：  : 
 我们的邮件列表位于 。
 我们在社区聊天。
pgmpy具有以下非可选依赖项：
 python 3.6或更高版本
一些功能还需要：
pgmpy在pypi和anaconda上都可用。 通过anaconda安装使用： 
$ conda install -c ankurankan pgmpy
 通过pip安装： 
$ pip
一、数据处理
1.原始数据分析
主要是让参赛选手根据训练集中的乘客数据和存活情况进行建模，进而使用模型预测测试集中的乘客是否会存活。乘客特征总共有11个，以下列出。当然也可以根据情况自己生成新特征，这就是特征工程（feature engineering）要做的事情了。
PassengerId => 乘客ID
Pclass =>...
				
Python中的贝叶斯网络
这是用于的毫不含糊的Python库。 对于严重的使用，您可能应该使用更成熟的项目，例如 ，  ，  （基于后者）或什至 。 还有证据充分的包河嘿，你甚至可以去中世纪和使用类似 -我只是开玩笑，他们实际上有一个。 顺便说一句，如果您不熟悉贝叶斯网络，那么我强烈推荐Patrick Winston的MIT关于概率推理的课程（，）。
 该项目的主要目标是用于教育目的。 因此，比起表现，更强调简洁和简洁。 我发现像这样的库很棒。 但是，它们实际上包含数千行非显而易见的代码，这不利于简化和易于理解。 我还付出了一些努力来设计一个可以充分利用的漂亮API。 尽管性能不是此库的主要重点，但它相当有效，应该能够及时满足大多数用例。
 :writing_hand: 手动结构
 :crystal_ball: 概率推断
 :red_question_mark: 缺少价值估算
 :person_shrugging: 可能性估计
 :game_die: 随机抽样
 :abacus: 参数估计
 :brick: 结构学习
 :eyes: 可视化
				
7 Bayes Network（贝叶斯网络）
本文Github仓库已经同步文章与代码https://github.com/Gary-code/Machine-Learning-Park/tree/main/7%20Bayes%20Network
代码说明：
				
现在不少人使用贝叶斯网络进行数据预测等研究，最近发现了一个Python第三方库pgmpy很好，并且在一些网站和pgmpy官方教程上对于贝叶斯网络预测代码都有详细的解释。现分享如下：该链接为一个大致的教程，但讲的大致比较全面：
http://www.manongjc.com/detail/22-pnexhswgyrokfuw.htmlpgmpy0.1.15版本的官方教程，讲的非常详细，推荐！
https://pgmpy.org/index.html
但是不知道为什么，这个教程用在pgmpy0.1.18时，在m
				
我只是应用一下说明一下，本文会详细说一下如何通过TabularCPD构造条件概率分布CPD（condition probability distribution）表格，以及各个参数的意义，如果需要完整的贝叶斯网络案例请看这个大神
首先咱是这么个网络
先把点点连起来，前面是箭头出来的事务，后面是箭头到达的事务，如L->N
from pgmpy.models import BayesianNetwork
my_model = BayesianNetwork([('L','N'),('I','N'),('S
 无向图实现。
 用于测试独立性的 a-Separation 类。
 i-Separation，一种在 DAG 中测试独立性的替代方法，它考虑了初始变量及其后代，并且在更大的网络中速度更快。
 具有乘法、除法、边缘化等操作的条件概率表 (CPT) 实现。
 消除排序（最小邻居、最小权重、最小填充、加权最小填充）
 变量消除（删除贫变量，独立于证据变量，创建一张新的根变量表，等等）。
 实用程序：
 从 BIF 文件加载网络。