時系列データにLjung-Box testを行い自己相関があることが分かったら、次はそれをモデルで表現したい。今回は自己相関を表す最も基本的なモデルであるMAモデルとARモデルを見ていく。これらを組み合わせたものがARMAモデルで、階差に対するARMAモデルがARIMAモデル。
Pythonで時系列データを検定(Shapiro-Wilk test, runs test, Ljung-Box test)する - sambaiz-net
MAモデル
q次のMA(Moving Average; 移動平均)モデルMA(q)は次の式で表される。\(c\)は定数で\(\theta\)はパラメータ、\(\varepsilon\)は分散\(\sigma^2\)のホワイトノイズ。ホワイトノイズというのは期待値が0で\(lag=0\)以外での自己共分散も0である定常過程で、定義から自己相関も0になるので何の傾向もなく動く。期待値が0のiid(independent and identically distributed; 同一の分布の独立なデータ)系列はホワイトノイズであるが、ホワイトノイズがiid系列であるとは限らない。
時系列データの定常性と定常過程、単位根過程 - sambaiz-net
$$ y_t = c + \varepsilon_t + \sum_{i=1}^q \theta_i \varepsilon_{t-i} $$
過去の項と共通部分\(\varepsilon\)を持つことで自己相関が表されている。したがって共通部分を持たないq次以降の項の自己相関は0になってしまうが、次数を上げるとパラメータ\(\theta\)の数が増えてしまう。
期待値\(E\)と自己共分散\(\gamma\)、自己相関\(\rho\)は次の通りで常に定常性を持つ。
$$ \begin{align*} E[y_t] &= c \\ \gamma_k &= (\theta_k + \theta_1 \theta_{k+1} + \cdots + \theta_{q-k}\theta_q) \sigma^2 \ (\rm{if}\ k \le q \ \rm{otherwise}\ 0) \\ \rho_k &= \frac {\theta_k + \theta_1 \theta_{k+1} + \cdots + \theta_{q-k}\theta_q}{1 + \theta_1^2 + \cdots + \theta_q^2} \ (\rm{if}\ k \le q \ \rm{otherwise}\ 0) \end{align*} $$
ARモデル
p次のAR(Auto Regression; 自己回帰)モデルAR(p)は次の式で表される。\(c\)は定数で\(\phi\)はパラメータ、\(\varepsilon\)は分散\(\sigma^2\)のホワイトノイズ。
$$ y_t = c + \sum_{i=1}^p \phi_i y_{t-i}+ \varepsilon_t $$
次のAR特性方程式の根(解)の絶対値がすべて1より大きい場合に定常過程となり、1を含む場合は単位根過程となる。例えば\(\phi_1 = 1\)のAR(1)であるランダムウォーク\(y_t = c + y_{t-1} + \varepsilon\)は単位根過程である。
$$ \phi (x) = 1 - \sum_{i=1}^p \phi_i x^i = 0 $$
AR(1)では\(|\phi_1| < 1\)のとき定常性を持つ。実際\(|\phi_1| \geqq 1\)だと分散や、\(|\phi_1| = 1, c=0\)のときを除き平均も発散する。 平均が発散しない\(c=0\)のランダムウォークは一見定常過程と区別が付きづらいが、単位根が存在するかの検定であるAugmented Dickey-Fuller testで判定できる。単位根過程同士で相関を取ると見せかけの回帰(spurious regression)という現象によって、それらが全く独立であっても有意な関係を見せてしまう問題がある。
定常過程の場合、平均\(E\)や自己共分散\(\gamma\)、自己相関\(\rho\)は次のようになる。この内、自己相関の式はユール・ウォーカー方程式と呼ばれ、lag\(k\)が大きくなるにつれて指数的に減衰していく。
$$ \begin{align*} E[y_t] &= c + \sum_{i=1}^p \phi_i E[y_{t-i}] + E[\varepsilon_t] \\ &= \frac{c}{1 - \sum_{i=1}^p \phi_i} \ \because E[y_t] = E[y_{t-i}] \ \rm{(if\ stationary\ process)} \\ V[y_t] &= \gamma_0 = \frac{\sigma^2}{1 - \sum_{i=1}^p \phi_i \rho_i} \\ \gamma_k &= \sum_{i=1}^p \phi_i \gamma_{k - i} \ (k \ge 1)\\ \rho_k &= \sum_{i=1}^p \phi_i \rho_{k - i} \ (k \ge 1) \end{align*} $$
反転可能性
条件を満たすARモデルとMRモデルは相互に変換することができる。変換できることを反転可能(invertible)と呼ぶ。
AR -> MA(∞)
ARモデルは常には定常性を持たないので、無条件に定常性を持つMAモデルにならないことは明らかだが、ではどのような場合に反転可能なのかというと、まさにその定常性を持つというのが条件となっている。
MA -> AR(∞)
次のMA特性方程式の解の絶対値がすべて1より大きい場合に反転可能となる。
$$ \phi (x) = 1 - \sum_{i=1}^p \theta_i x^i = 0 $$