降低错误率 剪枝 算法 Reduce Error P runing 首先说明： 剪枝 大体上分为预 剪枝 和后 剪枝 。 预 剪枝 是指在生成树的过程中，先判断生成子树会不会有性能提升，如果有就生成，没有就 剪枝 。 后 剪枝 是指在生成树后，判断树的枝干在剪和不剪的情况下有没有性能提升再决定剪不 剪枝 。 降低错误率 剪枝 算法属于后 剪枝 算法，即当树生成后，将子树替换成其叶节点，类别按叶节点中样本最多的类，然后判断剪和不剪之间的性能差异，然后再决定剪不 剪枝 。 考察结点⑤，若将其领衔的子树替换为叶结点，则替换后的叶结点包含编号为 {6，7，1

一、Table for Content 　　在之前的文章中我们介绍了De cisio n Tree s Agorithms，然而这个学习算法有一个很大的弊端，就是很容易出现Overfitting，为了解决此问题人们找到了一种方法，就是对De cisio n Tree s 进行 P runing ( 剪枝 )操作。 　　为了提高De cisio n Tree Agorithm的正...

剪枝 的目的： 剪枝 的目的是为了避免 决策树 模型的过拟合。因为 决策树 算法在学习的过程中为了尽可能的正确的分类训练样本，不停地对结点进行划分，因此这会导致整棵树的分支过多，也就导致了过拟合。 决策树 的 剪枝 策略最基本的有两种：预 剪枝 （pre-p runing ）和后 剪枝 （post-p runing ）： 预 剪枝 （pre-p runing ）：预 剪枝 就是在构造 决策树 的过程中，先对每个结点在划分前进行估计，若果当前结点的划分不能带来 决策树 模型泛化性能的提升，则不对当前结点进行划分并且将当前结点标记为叶结点。 后 剪枝 （post-pr