作者：Ricky翘 zhuanlan.zhihu.com/p/34128571
有时碰到跟别人聊起模型的熟悉时，不免要阐述下模型的原理，但一般口头交流都比较难，因为脑海里面都是一些公式，似乎从功利角度有必要把模型原理用文字表达一遍，所以自己整理了下机器学习的部分，有遗漏或者不对的地方也请多多指教~
线性回归
首先我们会定一个函数假定y和x的关系，如y=wx+b。但实际y的值肯定会和实际有偏差，所以就有残差项。如残差项e的求和=y-（wx+b）的求和。然后把公式化开，分别对w和b求偏导数，就可以得出w和b的值。
如何是对于矩阵，原理是一样的，不会设计矩阵的转置和矩阵的求导，最后参数为delta=X的转置乘以X，这两个乘起来再求他们的逆，最后再乘X的转置和Y
逻辑回归
首先引进sigmoid函数，形如1+e的负x次方分之一（这个大家都知道这个公式是什么），我们这里称sigmoid为h（x）然后对于每个样本，对于给定X和参数delta后，其对于y的后验概率为h（x）的y次方乘以（1-h（x））的1-y次方，这个分别对应y是0和1的情况。所以扩展到所有样本的话就把各样本的概率连乘起来，这里就像极大似然求解那样，连乘后再作对数处理，而一作对数处理，连乘就变成log相加求和了。对这个新得到的函数用梯度下降就能够不断更新参数delta了。
k-mean
1、从D中随机取k个元素，作为k个簇的各自的中心。
2、分别计算剩下的元素到k个簇中心的距离，将这些元素分别划归到距离最短的簇。
3、根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中所有元素各自维度的算术平均数。
4、将D中全部元素按照新的中心重新聚类。
5、重复第4步，直到聚类结果不再变化。
决策树
首先从根节点开始，计算所有变量的信息增益，主要有ID3和C4.5这两个算法。然后选择信息增益最大的作为结点的特征，确定了具体节点变量后，就要计算在变量里面具体哪个位置做切割，一般是在不同的切割点下的组别计算熵或者信息增益进行比较，选择最佳切割点。对子节点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或者没有特征可选时为止。
随机森林
可以抽象理解为很多颗决策树放在一起，然后各自产生的结果投票产生最终的结果，就是bagging的框架。但在细节上，就是每颗树通过有放回的方法抽取一定的数据量和一定的变量属性再去做分裂。
GBDT
首先先说GB这边，就是Gradient
