WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

Pages:     | 1 |   ...   | 43 | 44 || 46 | 47 |   ...   | 82 |

Найдем сначала математическое ожидание квадрата ошибки, условное относительно z:

E 2|z = E (x - x(z))2|z + +2E [(x - x(z))(x(z) - xp(z))|z] +E ( - xp(z)t)2|z.

x(z) При взятии условного математического ожидания с функциями z можно обращаться как с константами. Поэтому x(z) E ( - xp(z))2|z =(x(z) - xp(z))и E [(x - x(z))(x(z) - xp(z))|z] =E (x - x(z)|z)(x(z) - xp(z)) = =(x(z) - x(z))(x(z) - xp(z)) = 0.

Используя эти соотношения, получим E 2|z = E (x - x(z))2 |z +(x(z) - xp(z))2.

Если теперь взять от обеих частей безусловное математическое ожидание, то (по правилу повторного взятия ожидания) получится E 2 = E (x - x(z))2 + E ( - xp(z))2.

x(z) Поскольку второе слагаемое неотрицательно, то E (x - xp(z))2 = E 2 E (x - x(z))2.

380 Глава 11. Основные понятия в анализе временных рядов Другими словами, средний квадрат ошибки прогноза достигает минимума при xp(z) = =E (x|z).

x(z) Оптимальный прогноз xp(z) = =E (x|z) является несмещенным. Дейx(z) ствительно, по правилу повторного взятия ожидания E (E (x|z)) = E (x).

Поэтому E = E (x - xp(z)) = E (x) - E (E (x|z)) = 0.

11.10.2. Оптимальное линейное прогнозирование Получим теперь формулу для оптимального (в смысле минимума среднего квадрата ошибки) линейного прогноза. Пусть случайная переменная z, на основе которой делается прогноз x, представляет собой n-мерный вектор: z =(z1,..., zn).

Без потери общности можно предположить, что x и z имеют нулевое математическое ожидание. Будем искать прогноз x в виде линейной комбинации zj:

xp(z) =1z1 +... + nzn = z, где =(1,..., n) — вектор коэффициентов. Любой прогноз такого вида является несмещенным, поскольку, как мы предположили, Ex =0 и Ez =0.

Требуется решить задачу минимизации среднего квадрата ошибки (в данном случае это эквивалентно минимизации дисперсии ошибки):

E (x - xp(z))2 min! Средний квадрат ошибки можно представить в следующем виде:

E (x - xp(z))2 = E x2 - 2 zx + zz = x - 2 Mzx + Mzz, где x = Ex2 — дисперсия x, Mzx = E [zx] — вектор, состоящий из ковариаций zj и x, а Mzz = E [zz ] — ковариационная матрица z. (Напомним, что мы рассматриваем процессы с нулевым математическим ожиданием.) Дифференцируя по, получим следующие нормальные уравнения:

-2Mzx +2Mzz =0, откуда - = Mzz Mzx.

11.10 Оптимальное в среднеквадратическом смысле прогнозирование Очевидна аналогия этой формулы с оценками МНК, только матрицы вторых моментов здесь не выборочные, а теоретические.

Таким образом, оптимальный линейный прогноз имеет вид:

-xp(z) =z Mzz Mzx. (11.19) Ошибка оптимального линейного прогноза равна - = x - xp(z) =x - z Mzz Mzx.

Эта ошибка некоррелирована с z, то есть с теми переменными, по которым делается прогноз. Действительно, умножая на z и беря математическое ожидание, получим -1 -E (z) =E zx - zz Mzz Mzx = Mzx - MzzMzz Mzx, т.е.

E (z) =0.

Средний квадрат ошибки оптимального прогноза равен 2 -1 -1 -E 2 = E (x - xp(z))2 = x - 2MxzMzz Mzx + MxzMzz MzzMzz Mzx.

После преобразований получаем 2 -E 2 = x - MxzMzz Mzx. (11.20) Несложно увидеть аналогии между приведенными формулами и формулами МНК. Таким образом, данные рассуждения можно считать одним из возможных теоретических обоснований линейного МНК.

Для того чтобы применить приведенные формулы, требуется, чтобы матрица Mzz была обратимой. Если она вырождена, то это означает наличие мультиколлинеарности между переменными z.

Проблема вырожденности решается просто. Во-первых, можно часть «лишних» компонент z не использовать — оставить только такие, которые линейно независимы между собой. Во-вторых, в вырожденном случае прогноз можно получить по той же формуле xp(z) =z, взяв в качестве коэффициентов любое решение системы линейных уравнений Mzz = Mzx (таких решений будет бесконечно много). Средний квадрат ошибки прогноза рассчитывается по формуле:

E 2 = x - Mxz.

382 Глава 11. Основные понятия в анализе временных рядов В общем случае оптимальный линейный прогноз (11.19) не совпадает с условным математическим ожиданием E (x|z). Другими словами, он не является оптимальным среди всех возможных прогнозов. Пусть, например, z имеет стандартное нормальное распределение: z N(0, 1), а x связан с z формулой x = z2 - 1.

Тогда, поскольку x и z некоррелированы, то = 0, и оптимальный линейный прогноз имеет вид xp(z) = 0 при среднем квадрате ошибки прогноза равном E (z2 - 1)2 =2. В то же время прогноз по нелинейной формуле xp(z) =z2 - будет безошибочным (средний квадрат ошибки прогноза равен 0).

В частном случае, когда совместное распределение x и z является многомерным нормальным распределением:

x 0 x Mxz N,, z 0n Mzx Mzz оптимальный линейный прогноз является просто оптимальным. Это связано с тем, что по свойствам многомерного нормального распределения (см. Приложение A.3.2) условное распределение x относительно z будет иметь следующий вид:

-1 2 -x|z N z Mzz Mzx, x - MxzMzz Mzx.

-Таким образом, E (x|z) = z Mzz Mzx, что совпадает с формулой оптимального линейного прогноза (11.19).

11.10.3. Линейное прогнозирование стационарного временного ряда Пусть xt — слабо стационарный процесс с нулевым математическим ожиданием. Рассмотрим проблему построения оптимального линейного прогноза этого процесса, если в момент t известны значения ряда, начиная с момента 1, т.е. только конечный ряд x =(x1,..., xt). Предположим, что делается прогноз на шагов вперед, т.е. прогноз величины xt+. Для получения оптимального линейного (по x) прогноза можно воспользоваться формулой (11.19). В случае стационарного временного ряда ее можно переписать в виде:

xt() =x -1t,, (11.21) t 11.10 Оптимальное в среднеквадратическом смысле прогнозирование где 0 1 · · · t- 1 0 · · · t- t =...

.

....

.

...

t-1 t-2 · · · — автоковариационная матрица ряда (x1,..., xt), а вектор t, составлен из ковариаций xt+ с (x1,..., xt), т.е.

t, =(t+-1,..., ).

Можно заметить, что автоковариации здесь нужно знать только с точностью до множителя. Например, их можно заменить автокорреляциями.

Рассмотрим теперь прогнозирование на один шаг вперед. Обозначим через t вектор, составленный из ковариаций xt+1 с (x1,..., xt), т.е. t =(t,..., 1) = = t,1. Прогноз задается формулой:

t xt(1) = x -1t = x t = txt-i.

t i i=Прогноз по этой формуле можно построить только если матрица t неособенная.

Коэффициенты t, минимизирующие средний квадрат ошибки прогноза, задаются i нормальными уравнениями t = t или, в развернутом виде, t t|k-i| = k, k =1,..., t.

i i=Ошибка прогноза равна = xt+1 - xt(1).

Применив (11.20), получим, что средний квадрат этой ошибки равен E 2 = 0 - t -1t.

t Заметим, что 0 - t -1t = |t+1| / |t|, т.е предыдущую формулу можно переt писать как E 2 = |t+1| / |t|. (11.22) 384 Глава 11. Основные понятия в анализе временных рядов Действительно, матрицу t+1 можно представить в следующей блочной форме:

t t t+1 =.

t По правилу вычисления определителя блочной матрицы имеем:

|t+1| = 0 - t -1t |t|.

t Если |t+1| =0, т.е. если матрица t+1 вырождена, то средний квадрат ошибки прогноза окажется равным нулю, т.е. оптимальный линейный прогноз будет безошибочным. Процесс, для которого существует такой безошибочный линейный прогноз, называют линейно детерминированным.

Укажем без доказательства следующее свойство автоковариационных матриц:

если матрица t является вырожденной, то матрица t+1 также будет вырожденной.

Отсюда следует, что на основе конечного отрезка стационарного ряда (x1,..., xt) можно сделать безошибочный линейный прогноз на один шаг впередв том и только в том случае, если автоковариационная матрица t+1 является вырожденной ( |t+1| =0).

Действительно, пусть существует безошибочный линейный прогноз. Возможны два случая: |t| = 0 и |t| = 0. Если |t| = 0, то средний квадрат ошибки прогноза равен |t+1| / |t|, откуд а |t+1| =0, еслиже |t| =0, то из этого также следует |t+1| =0.

Наоборот, если |t+1| =0, тонайд ется s ( s t)такое, что |s+1| =0, но |s| =0.

Тогда можно сделать безошибочный прогноз для xt+1 на основе (x1+t-s,..., xt), а, значит, и на основе (x1,..., xt).

При использовании приведенных формул на практике возникает трудность, связанная с тем, что обычно теоретические автоковариации k неизвестны. Требуется каким-то образом получить оценки автоковариаций. Обычные выборочные автоковариации ck здесь не подойдут, поскольку при больших k (сопоставимых с длиной ряда) они являются очень неточными оценками k. Можно предложить следующий подход11:

1) Взять за основу некоторую параметрическую модель временного ряда. Пусть — соответствующий вектор параметров. Рассчитать теоретические автоковариации для данной модели в зависимости от параметров: k = k().

Этот подход, в частности, годится для стационарных процессов ARMA. В пункте 14.8 дается альтернативный способ прогнозирования в рамках модели ARMA.

11.10 Оптимальное в среднеквадратическом смысле прогнозирование 2) Оценить параметры на основе имеющихся данных. Пусть b — соответствующие оценки.

3) Получить оценки автоковариаций, подставив b в формулы теоретических автоковариаций: k k(b).

4) Использовать для прогнозирования формулу (11.21), заменяя теоретические автоковариации полученными оценками автоковариаций.

11.10.4. Прогнозирование по полной предыстории.

Разложение Вольда Можно распространить представленную выше теорию на прогнозирование ряд а в случае, когд а в момент t известна полная предыстория t =(xt, xt-1,... ).

Можно определить соответствующий прогноз как предел прогнозов, полученных на основе конечных рядов (xt, xt-1,..., xt-j), j = t, t - 1,..., -. Без доказательства отметим, что этот прогноз будет оптимальным в среднеквадратическом смысле. Если рассматривается процесс, для которого |t| =0 t, топоаналогиис (11.22) средний квадрат ошибки такого прогноза равен |t+1| E 2 = lim.

t |t| |t+1| |t| Заметим, что всегда выполнено 0 <, т.е. средний квадрат ошиб|t| |t-1| ки не увеличивается с увеличением длины ряда, на основе которого делается прогноз, и ограничен снизу нулем, поэтому указанный предел существует всегда.

Существуют процессы, для которых |t| = 0 t, т.е. для них нельзя сделать безошибочный прогноз, имея только конечный отрезок ряда, однако |t+1| lim =0.

t |t| Такой процесс по аналогии можно назвать линейно детерминированным. Его фактически можно безошибочно предсказать, если имеется полная предыстория процесса t =(xt, xt-1,... ).

Если же данный предел положителен, то линейный прогноз связан с ошибкой:

E 2 > 0. Такой процесс можно назвать регулярным.

Выполнены следующие свойства стационарных рядов.

A. Пусть xt — слабо стационарный временной ряд, и пусть t —ошибкиод ношагового оптимального линейного прогноза по полной предыстории процесса (xt-1, xt-2,...). Тогд аошибки t являются белым шумом, т.е. имеют нулевое ма386 Глава 11. Основные понятия в анализе временных рядов тематическое ожидание, не автокоррелированы и имеют одинаковую дисперсию:

E (t) =0, t, E (st) =0, при s = t, E 2 =, t.

B. Пусть, кроме того, xt является регулярным, т.е. E 2 = > 0. Тогд а он представим в следующем виде:

xt = it-i + vt, (11.23) i= где 0 = 1, i < ; процесс vt здесь является слабо стационарным, i=линейно детерминированным и не коррелирован с ошибками t: E (svt) =0 при s, t. Такое представление единственно.

Утверждения A и B составляют теорему Вольда. Эта теорема является одним из самых фундаментальных результатов в теории временных рядов. Утверждение B говорит о том, что любой стационарный процесс можно представить в виде так называемого линейного фильтра от белого шума12 плюс линейно детерминированная компонента. Это так называемое разложение Вольда.

Доказательство теоремы Вольда достаточно громоздко. Мы не делаем попытки его излагать и даже обсуждать; отсылаем заинтересованных читателей к гл. 7 книги Т. Андерсона [2].

Заметим, что коэффициенты разложения i удовлетворяют соотношению E (t-ixt) E (t-ixt) i = =.

E t-i Для того чтобы это показать, достаточно умножить (11.23) на t-i и взять математическое ожидание от обеих частей.

Разложение Вольда имеет в своей основе прогнозирование на один шаг вперед. С другой стороны, если мы знаем разложение Вольда для процесса, то с помощью него можно делать прогнозы. Предположим, что в момент t делается прогноз на шагов вперед, т.е. прогноз величины xt+ на основе предыстории t =(xt, xt-1,... ). Сдвинем формулу разложения Вольда (11.23) на периодов вперед:

xt+ = it+ -i + t+.

i=Можно назвать первое слагаемое в 11.23 также процессом скользящего среднего бесконечного порядка MA(). Процессы скользящего среднего обсуждаются в пункте 14.4.

11.10 Оптимальное в среднеквадратическом смысле прогнозирование Второе слагаемое, vt+, можно предсказать без ошибки, зная t. Из первой суммы первые слагаемых не предсказуемы на основе t. При прогнозировании их можно заменить ожидаемыми значениями — нулями. Из этих рассуждений следует следующая формула прогноза:

xt() = it+-i + t+.

i= Без доказательства отметим, что xt() является оптимальным линейным прогнозом. Ошибка прогноза при этом будет равна - it+-i.

i=Поскольку t — белый шум с дисперсией, то средний квадрат ошибки прогноза равен - 2 i.

i=Напоследок обсудим природу компоненты vt. Простейший пример линейно детерминированного ряда — это, говоря неформально, «случайная константа»:

vt =, где — наперед заданная случайная величина, E =0.

Типичный случай линейно детерминированного ряда — это, говоря неформально, «случайная синусоида»:

vt = cos(t + ), где — фиксированная частота, и — независимые случайные величины, причем имеет равномерное распределение на отрезке [0; 2].

Это два примера случайных слабо стационарных рядов, которые можно безошибочно предсказывать на основе предыстории. Первый процесс можно моделировать с помощью константы, а второй — с помощью линейной комбинации синуса и косинуса:

cos(t) + sin(t).

С точки зрения практики неформальный вывод из теоремы Вольда состоит в том, что любые стационарные временные ряды можно моделировать при помощи моделей линейного фильтра с добавлением констант и гармонических трендов.

388 Глава 11. Основные понятия в анализе временных рядов 11.11. Упражнения и задачи Упражнение 1.1. Дан временной ряд x =(5, 1, 1, -3, 2, 9, 6, 2, 5, 2).

Вычислите среднее, дисперсию (смещенную), автоковариационную и автокорреляционную матрицы.

1.2. Для временного ряда y =(6, 6, 1, 6, 0, 6, 6, 4, 3, 2) повторите упражнение 1.1.

Pages:     | 1 |   ...   | 43 | 44 || 46 | 47 |   ...   | 82 |



© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.