Bayes估计需要已知后验分布函数f(θ|x1，…，xN)，而最大似然估计则需要已知似然函数f(x1，…，xN|θ)。但是，在很多实际情况下，它们是未知的。另外，最大似然估计有时会导致非线性估计问题，不容易求解。因此，不需要先验知识、并且容易实现的线性估计方法就显得十分有吸引力。线性均方估计和最小二乘估计就是这样两类参数估计方法。

线性均方估计的规则，就是把估计量（θ）构造成观测量（x）的线性函数，同时要求估计量的均方误差最小。

在线性均方(linear mean squares,LMS)估计中，待定的参数估计子被表示为观测数据的线性加权和，已知观测样本为xi(i=1,...，N)，则参数θ的估计值可以写为

估计量的均方误差为

线性均方估计通过选择最佳系数ai和b，使得估计量的均方误差最小。

均方误差分别对ai和b求偏导，并令结果等于0

整理可得：

正交性原理可用文字叙述如下：均方误差最小，当且仅当估计误差e正交于每一个给定的观测数据xi，其中i=1，…，N。

例：设观测模型为zi=s+vi（i=1，2，.…），其中随机参量s以等概率取{-2，-1，0，1，2）诸值，噪声干扰vi以等概率取{-1，0，1）诸值，且E[svi]=0，E[vivj]= ，试根据一次、二次、三次观测数据求参量s的线性最小均方估计。

解：根据给定的条件可得

均值：E(s)=(-2-1＋0＋1＋2)/5=0

均方值：E(s^2)=[(-2)×(-2)+(-1)×(-1)+0×0+1×1+2×2]/5=2

方差： =E(s^2)=[(-2)×(-2)＋(-1)×(-1)＋0×0+1×1＋2×2]/5=2

​​​​​​​

​​​​​​​

随着样本数的增多，估计的均方误差逐渐减小最终达到一个稳定的值。

参考视频与文献：

https://www.bilibili.com/video/BV1wS4y1D7ng?p=4&vd_source=77c874a500ef21df351103560dada737

现代信号处理（第三版）张贤达（编著）

五、 线性 均方 估计 （LMS） 贝叶斯 估计 需要已知后验概率分布函数；最大似然 估计 需要知道似然函数，但是在很多情况下他们都是未知的。因此，不需要先验知识且容易实现的 线性 估计 方法就显得十分有吸引力； 线性 均方 估计 和最小二乘 估计 就是这样两类 参数估计 方法。 1、在 线性 均方 估计 中，待定的 参数估计 子被表示为观测数据的 线性 加权和，即 z的数学期望为0z的数学期望为0z的数学期望为0 以上为最终的 估计 公式，C代表斜方差，下面进行分析与推广以上为最终的 估计 公式，C代表斜方差，下面进行分析与推广以上为最终的 估计 公式，C代表斜方差，下面进行分析与推广 LMMSE性质   对于一个系统，在给予一定的输入，那么通常都会产生相对应的输出。在实际的系统中，这样的输出必然伴随着噪声，这样被噪声污染的输出通常是传感器的输出信号，也叫观测信号   同时，如果系统的模型是清晰的，我们可以通过严格的 理论 计算来得到真实值，通过作差的方式变把噪声去除了。   然而在实际的系统中，我们对整个系统的物理模型通常是未知的或者有一些参数未知，也可能是模型不准确，某些参数值有一定的偏差。因此，我们为了得到真实的信号，就需要利用观测信