WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

Pages:     | 1 |   ...   | 2 | 3 || 5 | 6 |   ...   | 7 |

= = = = = = + + + N + N +1 + + + + + p x = zN +1a - искомый МНК-прогноз.

= = = N +1 + + + + + + Полученный прогноз не смещен относительно ожидаемого значения:

p E(x ) = x0 +1, = = = N +1 N + + + + + + p и его ошибка d = x - x имеет нулевое матожидание:

= = = + N +1 + + N ++ + + E(d) = 0, = ++ - N + и дисперсию 2 = 2(1 + zN +1M-1z/ +1), которая минимальна в классе d = + = + + + + + N линейных оценок.

Оценка стандартной ошибки прогноза при n = 1 рассчитывается по формуле 1 (zN +1 - z)+ + + s2 1 + +.

+ + + + + + e N N (zi - z)i== = = Теоретические вопросы и задания 1. Провести матричные преобразования, доказывающие эквивалентность операторов оценивания для первых двух (основная и сокращенная) и третьей (без свободного члена) форм уравнения регрессии.

2(*). Показать, что e = B, = = = = где B = I - ZM-1Z/ - симметрическая, идемпотентная и положительно = = N полуопределенная матрица.

3(**). Доказать принадлежность МНК-оценок регрессии классу BLUE.

4(**). Вывести приведенную формулу для матрицы Ma ковариации оценок.

5(**). Показать, что sa является несмещенной оценкой дисперсии ошибок 2.

6. Вывести приведенную формулу для расчета коэффициента детерминации.

7(*). Доказать, что при нормальности распределения остатков МНК-оценки регрессии совпадают с оценками максимального правдоподобия.

8(*). Почему в случае незначимости влияния i-го фактора ti-статистика имеет tN-n-1-распределение 9(*). Почему в случае незначимости влияния всех факторов F-статистика имеет Fn,N-n-1-распределение 10(*). Проверить справедливость приведенного соотношения для прироста объясненной дисперсии, вызванного введением в регрессию новых факторов.

Почему это соотношение выполняется как равенство в указанных и только в указанных случаях 11. Как получена формула для коэффициента детерминации, скорректированного на число степеней свободы 12(*). Показать, что добавление новых факторов в регрессию не меняет “старые” оценки параметров в указанных и только в указанных случаях.

13(*). Убедиться в справедливости сделанных утверждений о характере заполнения указанных матриц на текущем шаге процесса шаговой регрессии.

14(*). Вывести приведенную формулу дисперсии ошибки прогноза.

15(*). Доказать указанные свойства ошибки прогноза.

16(*). Вывести приведенную формулу для оценки стандартной ошибки прогноза при n = 1, объяснить составляющие этой ошибки.

5. Гетероскедастичность и автокорреляция ошибок 5.1. Обобщенный метод наименьших квадратов (взвешенная регрессия) Если матрица ковариации ошибок по наблюдениям отлична от 2IN (нарушена 3-я гипотеза основной модели), то МНК-оценки параметров регрессии остаются несмещенными, но перестают быть эффективными в классе линейных.

Смещенными оказываются МНК-оценки их ковариции, в частности оценки их стандартных ошибок (как правило, они преуменьшаются).

Пусть теперь E(/) = 2, где - вещественная, симметрическая положительно определенная матрица (структура ковариации ошибок). Обобщенный метод наименьших квадратов (ОМНК), приводящий к оценкам класса BLUE, означает минимизацию взвешенной суммы квадратов отклонений:

e/-1e.

N Для доказательства проводится преобразование в пространстве наблюдений с -помощью невырожденной NN-матрицы D, такой, что D-1D/ =. После = = = такого преобразования остатки D начинают удовлетворять 2-й гипотезе.

На практике с матрицами общего вида обычно не работают.

Рассматривается два частных случая.

5.2. Гетероскедастичность ошибок Пусть ошибки не скоррелированы по наблюдениям, и матрица диагональна. Если эта матрица единична, т.е. дисперсии ошибок одинаковы по наблюдениям (гипотеза 3 не нарушена), то имеет место гомоскедастичность или однородность ошибок по дисперсии. В противном случае констатируют гетероскедастичность ошибок или их неоднородность по дисперсии.

Для проверки гипотезы о гомоскедастичности можно использовать критерий Бартлета. Для расчета bc - статистики, лежащей в основе применения этого критерия, множество МНК-оценок остатков ei, i = 1,...,N делится на k непересекающихся подмножеств.

k = Nl - количество элементов в l-м подмножестве, N = N ;

= = l = l == = s2 - оценка дисперсии в l-м подмножестве;

l k N s l l N = l == = = bs = - отношение средней арифметической дисперсий к = = k ( s2N l ) N l = l == = средней геометрической; это отношение больше или равно единице, и чем сильнее различаются дисперсии по подмножествам, тем оно выше;

N = bc = lnbs.

= = k 1 N N = l== = l + 1 + + + 3(k - 1) При однородности наблюдений по дисперсии эта статистика распределена как 2 -1.

k Факт неоднородности наблюдений по дисперсии остатков мало сказывается на качестве оценок регрессии, если эти дисперсии не скоррелированы с независимыми факторами. Проверить наличие зависимости дисперсии ошибок от факторов-регрессоров можно следующим образом.

Все наблюдения упорядочиваются по возрастанию одного из независимых факторов или расчетного значения изучаемой переменной Za. Оценивается остаточная дисперсия s1 по K “малым” и s2 по K “большим” наблюдениям (“средние” N-2K наблюдения в расчете не участвуют, а K выбирается приблизительно равным трети N). В случае гомоскедастичности ошибок отношение s распределено как FK-n-1,K-n-1.

sЕсли гипотеза гомоскедастичности отвергается, необходимо дать оценку матрице. Совместить проверку этой гипотезы с оценкой данной матрицы можно следующим образом.

В качестве оценок дисперсии ошибок по наблюдениям принимаются квадраты оценок остатков e2, и строится регрессия ei на все множество i независимых факторов или какое-то их подмножество. Если какая-то из этих регрессий оказывается статистически значимой, то гипотеза гомоскедастичности отвергается, и в качестве оценок ( = 0, i i/ по предположению) = = = / ii ii примаются расчетные значения ei c.

В некоторых статистических критериях проверки на гомоскедастичность в качестве оценок ii принимаются непосредственно e2.

i Имея оценку матрицы, можно провести преобразование в пространстве наблюдений с помощью матрицы D =, после которого остатки D можно = = = считать удовлетворяющими гипотезе 3.

5.3. Автокорреляция ошибок Пусть теперь наблюдения однородны по дисперсии и их последовательность имеет физический смысл и жестко фиксирована (например, наблюдения проводятся в последовательные моменты времени).

Для проверки гипотезы о наличии линейной автокорреляции 1-го порядка ошибок по наблюдениям = + i, E() = 0, E(/ ) = 2, = + = = IN = + = = = + = = i i-- где - коэффициент авторегрессии 1-го порядка;

- N-вектор-столбец {i};

можно использовать критерий Дарбина-Уотсона или DW-критерий (при автокорреляции 2-го и более высоких порядков его применение становится ненадежным).

Фактическое значение dc статистики Дарбина-Уотсона (отношения ФонНеймана) или DW-статистики раcсчитывается следующим образом:

N (ei - ei-1)=i= = = = dc = = = N e i = i== = Оно лежит в интервале от 0 до 4, в случае отсутствия автокорреляции ошибок приблизительно равно 2, при положительной автокорреляции смещается в меньшую сторону, при отрицательной - в большую сторону.

Если = 0, величина d распределена нормально, но параметры этого распределения зависят не только от N и n. Поэтому существует по два значения для каждого (двустороннего) квантиля, соответствующего определенным, N и n: его нижняя dL и верхняя dU границы. Нулевая гипотеза принимается, если dU dc 4 - dU ; она отвегается в пользу гипотезы о положительной автокорреляции, если dc < dL, и в пользу гипотезы об отрицательной < < < автокорреляции, если dc > 4 - dL. Если dL dc < dU или > - < > - < > - < - < 4 - dU < dc 4 - dL, вопрос остается открытым (это - зона неопределенности - < - < DW-критерия).

Пусть нулевая гипотеза отвергнута. Тогда необходимо дать оценку матрицы.

Оценка r параметра авторегрессии определяется из приближенного равенства dc r 1 -, или рассчитывается непосредственно из регрессии e на него самого со двигом на одно наблюдение.

1 r r2.. rN - -r 1 r.. rN - Оценкой матрицы, а матрица D является - r2 r 1.. rN -.....

.....

N -1 - - -2 -- - - - r rN rN.. 1 - r2 0 0.. преобразований в пространстве наблюдений равна -r 1 0.. 0.

0 -r 1.......

.....

0 0 0.. Для преобразования в простанстве наблюдений, называемом в данном случае авторегрессионным, используют обычно указанную матрицу без 1-й строки, что ведет к сокращению количества наблюдений на одно. В результате такого преобразования из каждого наблюдения, начиная со 2-го, вычитается предыдущее, умноженное на r, теоретическими остатками становятся i, которые удовлетворяют гипотезе 2.

После этого преобразования снова оцениваются параметры регрессии. Если новое значение DW-статистики неудовлетворительно, то можно провести следующее авторегрессионное преобразование.

Обобщает процедуру последовательных авторегрессионных преобразований метод Кочрена-Оркарта, который заключается в следующем.

Для одновременной оценки r, a и b используется критерий ОМНК (в обозначениях исходной формы уравнения регрессии):

N - - - - - ((x -- - - - - rx ) - (zi - rzi-1)a - (1 - r)b)2 min, - - - - - - i i-1 - N =i = = = где zi - n-вектор-строка значений независимых факторов в i-м наблюдении (iстрока матрицы Z).

Поскольку производные функционала по искомым величинам нелинены относительно них, применяется итеративная процедура, на каждом шаге которой сначала оцениваются a и b при фиксированном значении r предыдущего шага (на первом шаге обычно r = 0), а затем - r при полученных значениях a и b. Процесс, как правило, сходится.

Теоретические вопросы и задания 1(*) Почему нарушение гипотезы 3 в части матрицы ковариации ошибок сохраняет несмещенность оценок, но приводит к потере их эффективности в классе линейных оценок 2. Построить оператор ОМНК-оценивания, вывести формулу для матрицы ковариации оценок параметров в этом случае.

3(*). Показать, что ОМНК-оценки относятся к классу BLUE.

4. Убедиться, что в случае гетероскедастичности ошибок для преобразования в пространстве наблюдений используется указанная матрица.

5(*). Почему при использовании критерия Дарбина-Уотсона требуется знать два критических значения для расчетной статистики 6. Доказать, что в случае автокорреляции ошибок 1-го порядка матрица ковариации ошибок по наблюдениям и матрица авторегрессионного преобразования имеют указанную форму.

7. Вывести формулу ОМНК-критерия и построить процедуру оценивания коэффициента авторегрессии в методе Кочрена-Оркарта.

6. Ошибки измерения факторов и фиктивные переменные 6.1. Ошибки измерения факторов Пусть теперь нарушается гипотеза 2, и независимые факторы наблюдаются с ошибками (здесь используются обозначения первых двух форм уравнения регрессии):

z = z0 +, или в разрезе наблюдений: Z = Z0 +, где z0 и - n-вектора-строки истинных значений факторов и ошибок их измерений;

Z0 и - соответствующие N n-матрицы значений этих величин по наблюдениям.

Предполагается, что истинные значения и ошибки независимы друг от друга (по крайней мере, не скоррелированы друг с другом) и известны их матрицы ковариации (одинаковые для всех наблюдений):

E(z0/, E(z0/,z0) = M0, E(/) = ) = 0,.

Уравнение регрессии можно записать в следующей форме:

X = Z + -, = + = + = + (т.е. остатки теперь не могут быть независимыми от факторов-регрессоров) и в рамках сделанных предположений доказать, что E(M) = M0 +, E(a) = (M0 + )-1M0, т.е. МНК-оценки теряют в такой ситуации даже свойство несмещенности. Как правило, они преуменьшены по сравнению с истинными значениями (в случае n = 1, z = E(a) = ).

= = 20 + + z + + Существуют три подхода к оценке параметров регрессии в случае наличия ошибок измерения независимых факторов.

а) Простая регрессия. Если имеется оценка W ковариационной матрицы ошибок и ошибки регрессоров взаимно независимы с изучаемой переменной, то можно использовать следующий оператор оценивания:

a = (M-W)-1m, который обеспечивает несмещенность оценок.

б) Инструментальные переменные. Если имеется n факторов y, которые взаимно независимы как с ошибками уравнения, так и ошибками основных факторов, то оценка a = (Y/ Z)-1(Y/ X) = = = несмещена.

Исторически первой в этом классе получена оценка Вальда для случая n = 1.

Для получения этой оценки i-я компонента вектора-столбца Y принимается равной единице, если zi больше своей медианы, и минус единице, если - меньше медианы (при нечетном N среднее значение теряется). В результате получается, что x2 - xa = = = = z2 - zгде x2, z2 - средние значения переменных по верхней части выборки, x1, z1 - их средние значения по нижней части выборки.

Такая оценка более эффективна, если исключить примерно треть “средних” наблюдений.

Позже эта оценка была обобщена: матрицу значений инструментальных переменных было предложено формировать столбцами рангов по наблюдениям соответствующих переменных z.

в) Ортогональная регрессия. Если ошибки факторов не зависят друг от друга и от ошибок в уравнениях (которые в этом случае интерпетируются как ошибки изучаемой переменной), их дисперсии одинаковы и равны дисперсии ошибки изучаемой переменной, а между истинными значениями переменных имеется линейная зависимость, то можно использовать ортогональную регрессию.

Возвращаясь к обозначениям 3-го раздела, X = и = = = (M - In)a = 0, a/a = 1.

- - - В этом случае матрица ковариации ошибкок переменных имеет вид 2In.

Если матрица ковариации ошибок есть 2, то применяется регрессия в метрике :

(M - )a = 0, a/a = 1.

- = = - = = - = = Для доказательства проводится преобразование в пространстве переменных с - - - помощью матрицы C, такой, что = C-1/C-1, после которого матрица = = = ковариации ошибок переменных приобретает вид 2In, и становится возможным применить обычную ортогональную регрессию.

Ортогональная регрессия при принятых гипотезах приводит к состоятельным оценкам параметров.

6.2. Фиктивные переменные С помощью фиктивных или псевдо- переменных, принимающих дискретные, обычно, целые значения, в регрессию включают качественные факторы.

Уточнение обозначений:

Z - Nn-матрица наблюдений за “обычными” независимыми факторами;

- n-вектор-столбец параметров регрессии при этих факторах;

Z0 = 1N ;

= = = 0 =.

В этих обозначениях уравнение регрессии записывается следующим образом:

= + + X = Z + Z00 +.

Pages:     | 1 |   ...   | 2 | 3 || 5 | 6 |   ...   | 7 |



© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.