设 \(\{ \xi_t, t \in \mathbb Z \}\) 为弱平稳时间序列或者常数列， 定义如下的滞后算子 \(B\) : B \xi_t = \xi_{t-1}, \quad B^j \xi_t = \xi_{t-j}, \ j \in \mathbb Z

考虑复变函数 \(P(z) = \sum_{j=0}^\infty a_j z^j\) ， 其中 \(\{ a_j \}\) 为实数列， 设 \(\sum_{j=0}^\infty |a_j| < \infty\) （称为系数 绝对可和 ）， 有限阶多项式为 \(P(z)\) 的特例。 P(B) \xi_t = \sum_{j=0}^\infty a_j \xi_{j-t} . \(P(B)\) 也称为一个（常系数时齐）线性滤波器， \(P(B)\xi_t\) 是 \(\{ \xi_t \}\) 序列的一个滑动平均变换。

设 \(Q(z) = \sum_{j=0}^\infty b_j z^j\) ， \(\{ b_j \}\) 为实数列，绝对可和， 则 \(C(z) = P(z) Q(z) = \sum_{j=0}^\infty c_j z^j\) ， c_j = \sum_{i=0}^{j} a_i b_{j-i}, \ j=0,1,\dots 且 \(\{ c_j \}\) 绝对可和， 称数列 \(\{ c_j \}\) 是数列 \(\{ a_j \}\) 和数列 \(\{ b_j \}\) 的 离散卷积 。 对任意弱平稳列或者常数列 \(\{ \xi_t \}\) 均有 P(B) Q(B) \xi_t = Q(B) P(B) \xi_t = C(B) \xi_t, \ t \in \mathbb Z

若 \(\xi_t \equiv \xi\) 与 \(t\) 无关， 则 \(B^j \xi = \xi\) 。 \(B^j 1 = 1\) ， \(P(B) 1 = P(1)\) 。

令 \(D(z)=\frac{P(z)}{Q(z)}\) ， 若 \(Q(z) \neq 0\) 对任意满足 \(|z| \leq 1\) 的复数 \(z\) 均成立， 则 \(D(z) = \sum_{j=0}^\infty d_j z^j\) , \(\{ d_j \}\) 绝对可和，且 P(B) \xi_t = Q(B) D(B) \xi_t = D(B) Q(B) \xi_t, \ t \in \mathbb Z

研究AR模型的性质， 可以在对实际数据选择适当模型时， 知道那些情况下使用AR模型， 使用何种AR模型是合适的。

AR(1)模型的平稳解满足 \(\epsilon_t\) 与 \(X_{t-1}, X_{t-2}, \dots\) 独立。 将模型写成

\[\begin{align} X_t - \mu = \phi_1 (X_{t-1} - \mu) + \varepsilon_t \tag{4.3} \end{align}\]

AR(2)模型为 \[\begin{align} X_t = \phi_0 + \phi_1 X_{t-1} + \phi_2 X_{t-2} + \varepsilon_t \tag{4.4} \end{align}\] 其中 \(\{\varepsilon_t \}\) 为独立同分布的零均值白噪声, \(\varepsilon_t\) 与 \(X_{t-1}, X_{t-2}, \dots\) 独立。 系数满足特征方程的根都在单位圆外要求。 特征方程为

\[\begin{align} 1 - \phi_1 z - \phi_2 z^2 = 0 \tag{4.5} \end{align}\]

对于一般的AR(p)模型， 其ACF的性质以及序列的随机周期， 也由其特征根决定。 ACF可以是单调衰减、震荡衰减、正负交替衰减、呈周期震荡衰减。 在有复特征根根或者有接近 \(-1\) 的特征根时时间序列呈现出一定的随机周期变化。

由平稳性得 \mu = \frac{\phi_0}{1 - \phi_1 - \dots - \phi_p}

自相关函数(ACF)满足如下的递推（差分方程） (1 - \phi_1 B - \dots - \phi_p B^p) \rho_j = 0, \ j=1,2,\dots

AR( \(p\) )模型的平稳解是线性时间序列。

实际数据用AR模型建模时，阶数 \(p\) 是未知的， 确定 \(p\) 的问题称为 定阶 。 一般常用偏自相关函数和AIC准则。

设 \(X_1, \dots, X_n, Y\) 为随机变量， L(Y|X_1, \dots, X_n) = \mathop{\text{argmin}}_{\hat Y = b_0 + b_1 X_1 + \dots + b_n X_n} E(Y - \hat Y)^2 称为用 \(X_1, \dots, X_n\) 对 \(Y\) 的最优线性预测。 \(Y - L(Y|X_1, \dots, X_n)\) 与 \(Z - L(Z|X_1,\dots, X_n)\) 的相关系数称为 \(Y\) 和 \(Z\) 在扣除 \(X_1, \dots, X_n\) 影响后的 偏相关系数 。

对平稳线性时间序列， 对 \(n=1,2,\dots\) ， L(X_t|X_{t-1}, \dots, X_{t-n}) = \phi_{n0} + \phi_{n1} X_{t-1} + \dots + \phi_{nn} X_{t-n} 其中 \(\phi_{nj}, j=0,1,\dots,n\) 与 \(t\) 无关。 称 \(\phi_{nn}\) 为时间序列 \(\{X_t \}\) 的 偏自相关系数 ， \(\{ \phi_{nn} \}\) 序列称为时间序列 \(\{X_t \}\) 的 偏自相关函数 (PACF)。

\(\phi_{nn}\) 实际是 \(X_t\) 与 \(X_{t-n}\) 在扣除 \(X_{t-2}, \dots, X_{t-n+1}\) 的影响后的偏相关系数。 \(\phi_{11}\) 就是 \(\rho_1\) 。

\(\phi_{nn}\) 用样本进行估计， 得到的估计值 \(\hat\phi_{nn}, n=1,2,\dots\) 称为 样本偏自相关函数 。 在R软件中用 pacf(x) 估计并作图。

如果 \(\{ X_t \}\) 服从如下AR( \(p\) )模型：

AR(p)序列的样本偏自相关函数 \(\hat\phi_{kk}\) 满足如下性质：

这样，可以用类似对ACF的白噪声检验那样给PACF图画出 \(\pm\frac{2}{\sqrt{T}}\) 的上下界限， 以此判断PACF在哪里截尾。

例4.2 考虑CRSP价值加权指数月度收益率， 时间从1926-1到2008-12。

信息准则是统计建模中常用的模型比较工具， 其基本思想是模型拟合数据的拟合优度与模型简单化的折衷。

AIC准则（Akaike’s Information Criterion）： \text{AIC} = -\frac{2}{T}\ln(\text{似然函数值}) + \frac{2}{T} (\text{参数个数}) 其中似然函数值是在参数最大似然估计处的似然函数值。 当模型为高斯AR(p)，即 \(\{\epsilon_t\}\) 是独立同 \(\text{N}(0,\sigma^2)\) 序列时的AR( \(p\) )模型时， AIC公式为 \text{AIC}(k) = \ln \tilde\sigma_k^2 + \frac{2k}{T} 其中 \(k\) 是模型的阶， \(\tilde\sigma_k^2\) 是阶为 \(k\) 的条件下 \(\varepsilon_t\) 的方差的最大似然估计。 \(\ln \tilde\sigma_k^2\) 代表了模型对数据的拟合优劣， 此值越大拟合越差； \(\frac{2k}{T}\) 是对模型复杂程度的惩罚， 此值越大， 模型越复杂， 稳定性越差， 对未来的情况的适应性也越差。 在某个范围内取 \(k\) 使得AIC( \(k\) )最小， 就达成了拟合优度与模型简单程度的折衷。

另一个常用的信息准则是BIC准则(Bayesian Information Criterion)， 高斯AR模型为： \text{BIC}(k) = \ln \tilde\sigma_k^2 + \frac{k \ln T}{T} BIC倾向于取比AIC更低阶的模型。

可以取 \(k=0,1,\dots,P_0\) 计算AIC或BIC， 取最小值点的 \(k\) 。 \(P_0\) 可取为 \(10 \log_{10} T\) 。

AR模型有多种估计方法， 用普通线性回归的最小二乘法估计， 假设正态分布用最大似然估计， Yule-Walker递推计算， Burg递推计算，等等。

在 stats::ar() 函数中， method="ols" 为最小二乘估计， 设 \(\phi_i\) 的估计为 \(\hat\phi_i\) ， 则拟合值为 \hat x_t = \hat\phi_0 + \hat\phi_1 x_{t-1} + \dots + \hat\phi_p x_{t-p}, \ t=p+1, \dots, T e_t = x_t - \hat x_t, \ t=p+1, \dots, T 相应的新息方差 \(\sigma^2=\text{Var}(\varepsilon_t)\) 的估计为 \hat\sigma^2 = \frac{1}{T-2p-1}\sum_{t=p+1}^T e_t^2

如果使用高斯条件最大似然估计（认为 \(x_1, \dots, x_p\) 固定）， 则 \(\hat\phi_i\) 估计不变， 但是新息方差得估计变成了 \tilde\sigma^2 = \frac{1}{T-p} \sum_{t=p+1}^T e_t^2 = \frac{T-2p-1}{T-p} \sum_{t=p+1}^T e_t^2

拟合AR模型后， 如果模型是能够准确表示数据的规律的， 则拟合的残差应该近似为白噪声， 应该能通过白噪声检验。 因为残差是从模型估计计算得到的， 自由度有损失， 在 Box.test() 中用 fitdf= \(p\) 指定自由度减少个数。

类似于线性回归模型的拟合优度判断， 在线性时间序列建模中，也可以定义如下的拟合优度 \(R^2\) 统计量

只要数据不变， \(R^2\) 随阶数 \(p\) 的增加而增大。 根据统计学中的精简性原则（称为Ocam’s razor原则）， 应尽可能选择简单模型。 所以提出调整的 \(R^2\) 指标(adjusted \(R^2\) )，定义为 R_{\text{Adj}}^2 = 1 - \frac{\hat\sigma^2}{\hat\sigma_x^2} 其中 \(\hat\sigma^2\) 是新息方差 \(\sigma^2\) 的估计， \(\hat\sigma_x^2\) 是 \(X_t\) 的样本方差。 仍有 \(0 \leq R_{\text{Adj}}^2 \leq 1\) ， 但 \(R_{\text{Adj}}^2\) 对阶数 \(p\) 的增加有惩罚。

前面定义的 \(L(Y|X_1, \dots, X_n)\) 是最佳线性预测。 还可以定义 \(\hat Y\) 为 \(X_1, \dots, X_n\) 的任意函数， 使得 \(E(Y - \hat Y)^2\) 最小， 称为最佳预测（最优预测）。 最佳预测等于条件期望 \(E(Y|X_1, \dots, X_n)\) 。

对AR( \(p\) )模型（新息为独立同分布白噪声）， 最佳预测与最佳线性预测相同。

在时刻 \(h\) ，用截止到 \(h\) 位置的信息预测 \(x_{h+\ell}\) ， 得到的最佳预测记为 \(\hat x_h(\ell)\) 。

对 \(\ell=1\) ，因为 X_{h+1} = \phi_0 + \phi_1 X_{h} + \dots + \phi_p X_{h+1-p} + \varepsilon_{h+1} 以及 \(E(\varepsilon_{h+1}|X_1, \dots, X_h)=0\) ， \hat x_h(1) = E(X_{h+1} | X_1,\dots, X_h) = \phi_0 + \phi_1 X_{h} + \dots + \phi_p X_{h+1-p} 一步预测误差为 e_h(1) = x_{h+1} - \hat x_h(1) = \varepsilon_{h+1}, \ \text{Var}(e_h(1)) = \sigma^2 可见模型中的新息方差 \(\sigma^2\) 也是超前一步预测的均方误差。

如果 \(\varepsilon_t\) 服从正态分布， 则 \(X_{h+1}\) 的超前一步预测的95%预测区间为 \(\hat x_h(1) \pm 1.96 \sigma\) 。

要计算 \(\hat x_h(2)\) ，注意到 X_{h+2} = \phi_0 + \phi_1 X_{h+1} + \dots + \phi_p X_{h+2-p} + \varepsilon_{h+2} \begin{aligned} \hat x_h(2) =& E(x_{h+2} | x_1, \dots, x_h) = \phi_0 + \phi_1 E(x_{h+1} | x_1, \dots, x_h) + \phi_2 x_h + \dots + \phi_p x_{h+2-p} \\ =& \phi_0 + \phi_1 \hat x_h(1) + \phi_2 x_h + \dots + \phi_p x_{h+2-p} \end{aligned} 预测误差为 e_h(2) = x_{h+2} - \hat x_h(2) = \phi_1 e_h(1) + \varepsilon_{h+2} 预测均方误差为 E[e_h(2)]^2 = \text{Var}(e_h(2)) = \sigma^2(1 + \phi_1^2) 这里用到了 \(\varepsilon_{h+2}\) 与 \(e_h(1) = x_{h+1} - \hat x_h(1)\) 独立。 显然超前两步预测均方误差大于等于超前一步均方误差， 这对一般情况都是合理的， 预测得越远， 我们现有知识的作用就越小。

对平稳AR( \(p\) )模型， 当超前步数 \(\ell\to+\infty\) 时， \(\hat x_h(\ell) \to \mu\) 。 这种性质称为均值回转(mean reversion)。

对AR(1)模型的零均值平稳解 \(\{ x_t \}\) ， \hat x_h(\ell) = \phi_1^\ell x_h 这也是与极限 \(0\) 之间的差距， 而 \(|\phi_1|^\ell\) 则代表了趋向于极限的速度， 当 \(|\phi_1|^\ell=\frac12\) 时趋向于极限0就可以认为极限过程已经到了一半， 这个 \(\ell=\ln(0.5)/\ln|\phi_1|\) 称为均值回转的 半衰期 。 半衰期越短， 多步预报的作用越差。