WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

Pages:     | 1 |   ...   | 65 | 66 || 68 | 69 |   ...   | 82 |

2 2 N Очевидно, что максимизация концентрированной функции правдоподобия эквивалентна методу наименьших квадратов (минимизации суммы квадратов остатков).

18.3.3. Три классических теста для метода максимального правдоподобия Рассмотрим линейную регрессию с нормальными ошибками. Требуется проверить гипотезу о том, что коэффициенты этой регрессии удовлетворяют некоторым линейным ограничениям. Пусть a0 — оценки, полученные методом максимального правдоподобия без учета ограничений, а a1 — оценки, полученные тем же методом с учетом ограничений, и пусть ln L0 — значение логарифмической функции правдоподобия в точке a0, а ln L1 — значение логарифмической функции правдоподобия в точке a1. Статистику для проверки такой гипотезы естественно строить как показатель, измеряющий существенность различий между двумя моделями — с ограничениями и без них. Если различия не очень велики (ограничения существенны), то гипотезу о том, что ограничения выполнены, следует принять, а если достаточно велики — то отвергнуть. Рассмотрим три возможных способа измерения этих различий, проиллюстрировав их графически.

Критерий отношения правдоподобия (Likelihood ratio test — LR) основан Ln L на различии значений логарифмической функции правдоподобия в точках a0 и Ln La1 (см. рис. 18.2), или, что то же самое, на логарифме отношения правдопоLn Lдобия, т.е. величине Lln L0 - ln L1 =ln.

La1 a0 a Критерий множителей Лагранжа (Lagrange multiplier test — LM) осноРис. 18.ван на различии тангенса угла наклона касательной к логарифмической функции правдоподобия в точках a0 и a1. Поскольку в точке a0 он равен нулю, то следует рассмотреть, насколько тангенс угла наклона касательной в точке a1 отличен от нуля (см. рис. 18.3).

588 Глава 18. Классические критерии проверки гипотез Критерий Вальда (Wald test — W) Ln L основан на невязках рассматриваемых ограничений. В точке a1, по опредеLn Lлению, невязки равны нулю. Таким образом, следует рассмотреть, насколь Ln Lко невязки в точке a0 отличны от нуля. В случае одного параметра точка a1 однозначно задается ограничениями, и невязка в точке a0 при линейa1 a0 a ных ограничениях будет некоторой линейной функцией разности оценок aРис. 18.и a1 (см. рис. 18.4).

Покажем, как соответствующие критерии выводятся в рассматриваемом нами Ln L случае линейной регрессии с нормальными ошибками, когда требуется проверить линейные ограничения на коэффициенты. (В общем случае построение критериев происходит аналогичным образом.) При выводе критериев нам понадобится следующая лемма (см. Приложение A.3.2).

Лемма: Пусть — вектор ( Rk) a1 a0 a случайных величин, подчиненных многомерному нормальному распределению:

Рис. 18. N 0, 2, где матрица неособенная. Тогда -1 2.

k Доказательство:

Так как положительно определена (cм. Приложения A.1.2 и A.1.2), то существует неособенная квадратная матрица C, такая, что -1 = CC. Рассмотрим 1 вектор C. Ясно, что E C =0, а ковариационная матрица этого вектора равна E C C = CC = Ik.

Таким образом, вектор C состоит из k некоррелированных и, как следствие (по свойству многомерного нормального распределения), независимых случайных 18.3. Метод максимального правдоподобия в эконометрии величин, имеющих стандартное нормальное распределение. Тогда (по определению распределения -квадрат) сумма квадратов вектора C распределена как 2.

k Тест Вальда (W-тест) Для оценки коэффициентов регрессии без ограничений выполнено -1 -a0 = Z Z Z X N, 2 Z Z.

Рассмотрим невязки ограничений Ra0 - r. Чем они больше, тем более правдоподобно, что ограничения не выполнены. Ясно, что (см. Приложение A.3.2) Ra0 - r N R - r; 2A, где, как и раньше, используется обозначение A = R (Z Z)-1 R. Матрица A имеет размерность k k, гд е k — количество ограничений. Пусть выполнена нулевая гипотеза H0: R = r.

Тогда Ra0 - r N 0; 2A. По лемме (Ra0 - r) A-1 (Ra0 - r) 2.

k Поскольку известны лишь a0 — оценки без ограничений, то в качестве оценки неизвестной величины 2 берем e e0, гд е e0 = X - Za0— остатки из модели N без ограничений. Отсюда получаем статистику Вальда:

-1 -N W = (Ra0 - r) R Z Z R (Ra0 - r).

e eЭта статистика распределена примерно как 2. Тогд а, если W< 2, тослеk k, дует принять H0, что ограничения выполнены. При W> 2 ограничения сущеk, ственны и следует отвергнуть H0.

Можно увидеть, что статистика Вальда имеет следующую структуру:

-W =(Ra0 - r) RMa0R (Ra0 - r), e eгде Ma0 = (Z Z)-1 — оценка ковариационной матрицы оценок a0. ФактичеN ски это общая формула для статистики Вальда, применимая в случае произвольной модели, а не только линейной регрессии с нормальными ошибками.

590 Глава 18. Классические критерии проверки гипотез Тест отношения правдоподобия (LR-тест) LРассмотрим статистику LR = -2(lnL1 - ln L0) =-2ln, называемую стаLтистикой отношения правдоподобия. Здесь L1 и L0 — значения логарифмической функции правдоподобия в точках a0 и a1:

N N e eln L0 = - (1 + ln 2) - ln, 2 2 N N N e eln L1 = - (1 + ln 2) - ln.

2 2 N Суммы квадратов остатков здесь равны e e0 =(X - Za0) (X - Za0) и e e1 =(X - Za1) (X - Za1) = =(X - Za0) (X - Za0) +(Ra0 - r) A-1 (Ra0 - r).

Покажем, что если верна нулевая гипотеза R = r, то приближенно выполнено -2ln(L1/L0) 2.

k Действительно, L1 e e1 (Ra0 - r) A-1 (Ra0 - r) -2ln = N ln = N ln 1+.

L0 e e(X - Za0) (X - Za0) Для натурального логарифма при малых x выполнено ln (1 + x) x. Рассмотрим последнюю дробь. При большом количестве наблюдений оценки a0 стремятся к вектору, для которого выполнено H0 : R = r. Отсюда следует, что при большом количестве наблюдений дробь — малая величина, и получаем приближенно L1 (Ra0 - r) A-1 (Ra0 - r) LR = -2ln N = W.

L(X - Za0) (X - Za0) Таким образом, статистика отношения правдоподобия приближенно равна статистике Вальда, которая приближенно распределена как 2. Получили LR-тест:

k если LR > 2, то H0 неверна, ограничения не выполнены, а если LR < 2, k, k, то наоборот.

18.3. Метод максимального правдоподобия в эконометрии Тест множителей Лагранжа (LM-тест) Ранее мы получили выражение для множителей Лагранжа, соответствующих ограничению R = r:

= A-1 (Ra0 - r).

Из того, что Ra0 - r N R - r; 2A, следует, что N A-1(R - r); 2A-1.

Отсюда при H0 : R = r выполнено N 0; 2A-1, поэтому в силу леммы имеем A 2. Поскольку известны только оценки с ограничением, a1, k то в качестве оценки 2 берем e e1.

N Получили статистику -N N LM = A = R Z Z R.

e e1 e e1 Если LM > 2, то H0 отвергается, ограничения не выполнены. Если k, LM < 2, то H0 принимается.

k, Вспомним, что из нормальных уравнений для оценок при ограничениях R = Z (X - Za1).

Втожевремя ln L(a1, e e1/N) N = Z (X - Za1) — e eпроизводная логарифмической функции правдоподобия (это функция без учета огра e eничений) по параметрам в точке оценок при ограничениях a1 и s1 =.

N Статистика множителей Лагранжа, таким образом, имеет следующую структуру:

e e1 ln L(a1, e e1/N) ln L(a1, e e1/N) 1 1 LM = (Z Z)-1 = N ln L(a1, e e1/N) ln L(a1, e e1/N) 1 = Ma (a1), e eгде Ma (a1) = (Z Z)-1 — оценка ковариационной матрицы оценок a0, выN численная на основе информации, доступной в точке a1. Это общая формула для статистики множителей Лагранжа, применимая в случае произвольной модели, а не только линейной регрессии с нормальными ошибками. В таком виде тест называется скор-тестом (score test) или тестом Рао.

592 Глава 18. Классические критерии проверки гипотез 18.3.4. Сопоставление классических тестов -Величину (Ra0 - r) R (Z Z)-1 R (Ra0 - r), которая фигурирует в формулах для рассматриваемых статистик, можно записать также в виде e e1 - e e0.

1 Таким образом, получаем следующие формулы для трех статистик через суммы квадратов остатков:

e e1 - e e1 W = N, e ee e1 - e e1 LM = N, e e e eLR = N ln.

e eF -статистику для проверки линейных ограничений можно записать аналогичным образом:

N - n - 1 e e1 - e e1 F =.

k e eНетрудно увидеть, что все три статистики можно записать через F -статистику:

k LR = N ln 1+ F, N - n - N W = kF, N - n - N LM = kF.

kF + N - n - Заметим, что по свойству F -распределения kF в пределе при N сходится к 2, чем можно доказать сходимость распределения всех трех статистик k к этому распределению.

Так как e e1 e e0, то W LM. Следовательно, тест Вальда более жест1 кий, он чаще отвергает ограничения. Статистика отношения правдоподобия лежит всегда между W и LM. Чтобы это показать, обозначим k e e1 - e e1 x = F =.

N - n - 1 e eДоказываемое свойство следует из того, что при x >-1 выполнено неравенство x ln (1 + x) x.

1+x 18.4. Упражнения и задачи 18.4. Упражнения и задачи Упражнение В Таблице 18.1 приведены данные о продаже лыж в США: SA — продажа лыж в США, млн. долл., PDI — личный располагаемый доход, млрд. долл.

1.1. Оценить регрессию SA по константе и PDI. Построить и проанализировать автокорреляционную функцию остатков.

1.2. Оценить регрессию с добавлением квартальных сезонных переменных Q1, Q2, Q3, Q4. Константу не включать (почему). Оценить ту же регрессию, заменив Q4 на константу. Построить и проанализировать автокорреляционную функцию остатков в регрессии с сезонными переменными.

1.3. Проверить гипотезу о том, что коэффициенты при сезонных переменных равны одновременно нулю. Есть ли сезонная составляющая в данных Таблица 18.1. (Источник: Chatterjee, Price, Regression Analysis by Example, 1991, p.138) Квартал SA PDI Квартал SA PDI Квартал SA PDI 1965.1 37.4 118 1968.1 44.2 143 1971.1 52 1965.2 31.6 120 1968.2 40.4 147 1971.2 46.2 1965.3 34 122 1968.3 38.4 148 1971.3 47.1 1965.4 38.1 124 1968.4 45.4 151 1971.4 52.7 1966.1 40 126 1969.1 44.9 153 1972.1 52.2 1966.2 35 128 1969.2 41.6 156 1972.2 47 1966.3 34.9 130 1969.3 44 160 1972.3 47.8 1966.4 40.2 132 1969.4 48.1 163 1972.4 52.8 1967.1 41.9 133 1970.1 49.7 166 1973.1 54.1 1967.2 34.7 135 1970.2 43.9 171 1973.2 49.5 1967.3 38.8 138 1970.3 41.6 174 1973.3 49.5 1967.4 43.7 140 1970.4 51 175 1973.4 54.3 594 Глава 18. Классические критерии проверки гипотез Таблица 18.2. (Источник: M.Pokorny, An Introduction to Econometrics.

Basil Blackwell, 1987, p.230) Год X L K D Год X L K D 1965 190.6 565 4.1 0.413 1973 130.2 315 4.2 0.1966 177.4 518 4.3 0.118 1974 109.3 300 4.2 5.1967 174.9 496 4.3 0.108 1975 127.8 303 4.2 0.1968 166.7 446 4.3 0.057 1976 122.2 297 4.3 0.1969 153 407 4.3 1.041 1977 120.6 299 4.4 0.1970 144.6 382 4.3 1.092 1978 121.7 295 4.6 0.1971 147.1 368 4.3 0.065 1979 120.7 288 4.9 0.1972 119.5 330 4.3 10.8 1980 128.2 286 5.2 0.1.4. Оценить ту же регрессию, считая, что коэффициент при Q1 равен коэффициенту при Q4 («зимние» кварталы) и коэффициент при Q2 равен коэффициенту при Q3 («летние» кварталы).

1.5. Мы предполагали выше, что константа меняется в зависимости от квартала.

Теперь предположим, что в коэффициенте при PDI также имеется сезонность.

Создать необходимые переменные и включить их в регрессию. Меняется ли коэффициент при PDI в зависимости от квартала Проверить соответствующую гипотезу.

Упражнение В Таблице 18.2 приведены данные о добыче угля в Великобритании: X — общая добыча угля (млн. тонн), L — общая занятость в добыче угля (тыс. чел.), K — основные фонды в угледобывающей отрасли (восстановительная стоимость в ценах 1975 г., млн. фунтов), D — потери рабочих дней в угледобывающей отрасли из-за забастовок (млн. дней).

2.1. Оценить уравнение регрессии X = const + bK + cD. На основе графиков остатков по времени и по расчетным значениям сделать выводы относительно гетероскедастичности, автокорреляции и функциональной формы.

18.4. Упражнения и задачи 2.2. Провести вручную с помощью соответствующих регрессий тесты: а) на гетероскедастичность, б) тест Годфрея на автокорреляцию остатков, в) тест Рамсея на функциональную форму.

2.3. Провести Чоу-тест (тест на постоянство коэффициентов регрессии) с помощью умножения на фиктивную переменную. Данные разбить на 2 части:

с 1965 по 1972 и с 1973 по 1980 гг. Сделать выводы.

2.4. Провести тест на добавление фактора L. Оценить уравнение регрессии X =const +bK + cD + aL.

2.5. Правильно ли выбрана функциональная форма регрессии В случае, если она выбрана неправильно, попробовать исправить ее путем добавления квадратов переменных K и L.

Упражнение В Таблице 15.3 на стр. 520 приведены данные о совокупном доходе и потреблении в США в 1953–1984 гг.

3.1. Оценить потребительскую функцию (в логарифмах) ln Ct = + ln Yt + t.

3.2. Проверить гипотезу =1 с помощью: а) теста Вальда, б) преобразованной модели ln Yt = +( - 1) ln Yt + t, в) теста отношения правдоподобия.

3.3. Проверить гипотезу об отсутствии автокорреляции первого порядка.

3.4. Предположим, что ошибка подчинена авторегрессионному процессу первого порядка t = t-1 + ut. Оценить соответствующую модель.

3.5. Модель с авторегрессией в ошибке можно записать в следующем виде:

ln Ct = (1 - ) + ln Yt - ln Yt-1 + ln Ct-1 + ut.

Эта же нелинейная модель представляется в виде линейной регрессии:

ln Ct = + ln Yt + ln Yt-1 + ln Ct-1 + ut, где =, = (1 - ), = -, =. Оцените модель как линейную регрессию.

3.6. Для той же нелинейной модели должно выполняться соотношение между коэффициентами линейной регрессии: = -. Проверить данную гипотезу.

3.7. Оценить нелинейную регрессию. Использовать тест отношения правдоподобия для проверки той же гипотезы, т.е. = -.

596 Глава 18. Классические критерии проверки гипотез Задачи 1. Оценивается функция Кобба—Дугласа (в логарифмическом виде) с ограничением однородности первой степени. Запишите матрицы (R и r) ограничений на параметры регрессии.

2. Запишите матрицы (R и r) ограничений на параметры регрессии в случае проверки того, что 1-й и 3-й коэффициенты регрессии X = Z + совпадают, где матрица наблюдений 1 1 1 1 0 2 Z = 1 3 3 -1.

1 0 4 1 2 5 3. Запишите матрицы (R и r) ограничений на параметры регрессии в случае проверки значимости j-го коэффициента регрессии.

4. Запишите матрицы (R и r) ограничений на параметры регрессии в случае проверки значимости уравнения регрессии в целом.

5. Исходные данные для модели линейной регрессии x = 1z1 + 2z2 + неизвестны, известно только, что количество наблюдений N = 100, сумма квадратов остатков равна 196, 2 -3 Z Z = и Z X =.

-3 5 а) Используя эту информацию, рассчитайте оценки МНК.

б) Рассчитайте оценки МНК, учитывая ограничение 21 -32 =10. Найдите сумму квадратов остатков.

Pages:     | 1 |   ...   | 65 | 66 || 68 | 69 |   ...   | 82 |



© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.