WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

Pages:     | 1 |   ...   | 27 | 28 || 30 | 31 |   ...   | 82 |

7.3. Независимые факторы: спецификация модели Случаи, когда на факторных переменных суA ществуют точные линейные зависимости, встречаются редко. Гораздо более распространена ситуация, в которой зависимости между факторными переменными приближаются к линейным.

O Такая ситуация называется мультиколлинеарностью. Она чревата высокими ошибками получаемых оценок и высокой чувствительностью результатов оценивания к ошибкам в факторных C переменных, которые, несмотря на гипотезу g2, обычно присутствуют в эмпирическом анализе. B Действительно, в такой ситуации матрица M Рис. 7.плохо обусловлена и диагональные элементы M-1, определяющие дисперсии оценок, могут принимать очень большие значения.

Кроме того, даже небольшие изменения в M, связанные с ошибками в факторных переменных, могут повлечь существенные изменения в M-1 и, как следствие, — воценках a.

Последнее наглядно иллюстрируется рисунком (рис. 7.1) в пространстве наблюдений при n =2.

На этом рисунке: OA — x, OB — 1, OC — 2.

Видно, что факторные переменные сильно коррелированы (угол между соответствующими векторами мал).

Поэтому даже небольшие колебания этих векторов, связанные с ошибками, значительно меняют положение плоскости, которую они определяют, и, соответственно, — нормали на эту плоскость.

Из рисунка видно, что оценки параметров регрессии «с легкостью» меняют не только свою величину, но и знак.

По этим причинам стараются избегать ситуации мультиколлинеарности.

Для этого в уравнение регрессии не включают факторы, сильно коррелированные с другими.

Можно попытаться определить такие факторы, анализируя матрицу коэффициентов корреляции факторных переменных S-1MS-1, гд е S — диагональная матрица среднеквадратических отклонений. Если коэффициент sjj этой матрицы достаточно большой, например, выше 0.75, то один из пары факторов j и j не следует вводить в уравнение. Однако такого элементарного «парного» анализа может оказаться не достаточно. Надежнее построить все регрессии на множестве факторных переменных, последовательно оставляя в левой части уравнения эти переменные по отдельности. И не вводить в уравнение специфицируемой модели (с x в левой части) те факторы, уравнения регрессии для которых достаточно значимы по F -критерию (например, значение pv не превышает 0.05).

236 Глава 7. Основная модель линейной регрессии Однако в эмпирических исследованиях могут A возникать ситуации, когда только введение сильно D коррелированных факторов может привести к построению значимой модели.

O Это утверждение можно проиллюстрировать рисунком (рис. 7.2) в пространстве наблюдений при n =2.

На этом рисунке: OA — x, OB — 1, OC — 2, AD — нормаль на плоскость, определяеC мую векторами OB и OC, OD —проекция B OA на эту плоскость.

Из рисунка видно, что 1 и 2 по отдельности Рис. 7.не объясняют x (углы между соответствующими векторами близки к 90), но вместе они определяют плоскость, угол между которой ивектором OA очень мал, т.е. коэффициент детерминации в регрессии x на 1, близок к единице.

Рисунок также показывает, что такая ситуация возможна только если факторы сильно коррелированы.

В таких случаях особое внимание должно уделяться точности измерения факторов.

Далее определяются последствия введения в уравнение дополнительного фактора. Для этого сравниваются оценки уравнений (7.51, 7.52) в предположении, что 2 линейно независим от 1.

В этом анализе доказываются два утверждения.

1) Введение дополнительного фактора не может привести к сокращению коэффициента детерминации, в большинстве случаев он растет (растет объясненная дисперсия). Коэффициент детерминации остается неизменным тогда и только тогда, когда вводимый фактор ортогонален остаткам в исходной регрессии (линейно независим от остатков), т.е. когда m2e = Z2e =0 (7.53) N (понятно, что коэффициент детерминации не меняется и в случае линейной зависимости 2 от 1, но такой случай исключен сделанным предположением о линейной независимости этих факторов; в дальнейшем это напоминание не делается).

Для доказательства этого факта проводятся следующие действия.

Записываются системы нормальных уравнений для оценки регрессий (7.51, 7.52):

m1 = M11a1, (7.54) 7.3. Независимые факторы: спецификация модели m12 m1 M11 a =, (7.55) m2 m21 m22 a1 1 1 где m1 = Z1X, m2 = Z2X, M11 = Z1Z1, m12 = m = Z1Z2, N N N N m22 = Z2Z2.

N Далее, с помощью умножения обеих частей уравнения (7.51), расписанного по на блюдениям, слева на Z2, устанавливается, что N (7.53) m2 - m21a1 = m2e, (7.56) а из регрессии Z2 = Z1a21 + e21, в которой по предположению e21 =0, наход ится остаточная дисперсия:

1 (7.9) -s2 = e e21 = m22 - m21M11 m12 > 0. (7.57) e21 N Из первой (верхней) части системы уравнений (7.55) определяется:

(7.54) M11a + m12a2 = m1 = M11a1, ид алее -a = a1 - M11 m12a2. (7.58) Из второй (нижней) части системы уравнений (7.55) определяется:

(7.58) -m22a2 = m2 - m21a = m2 - m21 a1 - M11 m12a2.

Откуда -m22 - m21M11 m12 a2 = m2 - m21aи, учитывая (7.56, 7.57), s2 a2 = m2e. (7.59) eНаконец, определяется объясненная дисперсия после введения дополнительного фактора:

(7.9) (7.58) (7.56) m -s2 = m a + m2a2 = m a1 + - m M11 m12 a2 = s2 + m2ea2, q 1 1 1 1 q -- ---s2 a q (7.60) 238 Глава 7. Основная модель линейной регрессии т.е.

(7.59) m2e s2 = s2 +.

q q seЧто и требовалось доказать.

Это утверждение легко проиллюстрировать рисунком 7.3 в пространстве наблюдений при n1 =1.

На этом рисунке: OA — x, OB — 1, OC — 2, AD —нормаль x на ( DA —вектор e).

Рисунок показывает, что если 2 ортогонален e, тонормаль x на плоскость, опре деляемую 1 и 2, совпад аетс AD, т.е. угол между этой плоскостью и x совпадает сугломмежд у x и 1, введение в уравнение нового фактора 2 не меняет коэффи циент детерминации. Понятно также и то, что во всех остальных случаях (когда не ортогонален e) этот угол уменьшается и коэффициент детерминации растет.

После введения дополнительного фактора в уравнение максимально коэффициент детерми- A нации может увеличиться до единицы. Это произойдет, если 2 является линейной комбинацией x и 1.

Рост коэффициента детерминации с увеличе- O C нием количества факторов — свойство коэффициента детерминации, существенно снижающее D B его содержательное (статистическое) значение.

Введение дополнительных факторов, даже если Рис. 7.они по существу не влияют на моделируемую переменную, приводит к росту этого коэффициента. И, если таких факторов введено достаточно много, то он начнет приближаться к единице. Он обязательно достигнет единицы при n = N - 1. Более приемлем в роли критерия качества коэффициент детерминации, скорректированный на число степеней свободы:

N - R2 =1 - 1 - RN - n - ( 1 - R2 — отношение остаточной дисперсии к объясненной, которые имеют, соответственно, N - n - 1 и N - 1 степеней свободы), этот коэффициент может снизиться после введения дополнительного фактора. Однако наиболее правильно c при оценке качества уравнения ориентироваться на показатель pv статистики F.

Скорректированный коэффициент детерминации построен так, что он, так сказать, штрафует за то, что в модели используется слишком большой набор факторов.

На этом же принципе построено и большинство других критериев, используемых 7.3. Независимые факторы: спецификация модели для выбора модели: на них положительно отражается уменьшение остаточной дисперсии s2(z1) (здесь имеется в виду смещенная оценка дисперсии из регрессии e по z1) и отрицательно — количество включенных факторов n1 (без константы).

Укажем только три наиболее известных критерия (из огромного числа предложенных в литературе):

Критерий Маллоуза:

2(n1 +1) Cp = s2(z1) + 2(z), e e N где 2(z) — несмещенная оценка дисперсии в регрессии с полным набором фактоe ров.

Информационный критерий Акаике:

2(n1 +1) AIC =ln 2s2(z1) +.

e N Байесовский информационный критерий (критерий Шварца):

ln(N)(n1 +1) BIC =ln 2s2(z1) +.

e N В тех же обозначениях скорректированный коэффициент детерминации имеет вид s2(z1) N - e R2 =1 -, s2() N - n1 - e где s2() — остаточная дисперсия из регрессии с одной константой.

e Регрессия тем лучше, чем ниже показатель Cp ( AIC, BIC ). Для R2 используется противоположное правило — его следует максимизировать. Вместо R2 при неизменном количестве наблюдений N можно использовать несмещенную остаточную дисперсию 2 = 2(z1), которую уже следует минимизировать.

e e В идеале выбор модели должен происходить при помощи полного перебора возможных регрессий. А именно, берутся все возможные подмножества факторов z1, для каждого из них оценивается регрессия и вычисляется критерий, а затем выбирается набор z1, дающий наилучшее значение используемого критерия.

Чем отличается поведение критериев R2 ( 2), Cp, AIC, BIC при выборе модеe ли Прежде всего, они отличаются по степени жесткости, то есть по тому, насколько велик штраф за большое количество факторов и насколько более «экономную» мо дель они имеют тенденцию предлагать. R2 является наиболее мягким критерием.

Критерии Cp и AIC занимают промежуточное положение; при больших N они ведут себя очень похоже, но Cp несколько жестче AIC, особенно при малых N. BIC является наиболее жестким критерием, причем, как можно увидеть из приведенной формулы, в отличие от остальных критериев его жесткость возрастает с ростом N.

Различие в жесткости проистекает из различия в целях. Критерии Cp и AIC направлены на достижение высокой точности прогноза: Cp направлен на минимизацию дисперсии ошибки прогноза (о ней речь пойдет в следующем параграфе), 240 Глава 7. Основная модель линейной регрессии а AIC — на минимизацию расхождения между плотностью распределения по истинной модели и по выбранной модели. В основе BIC лежит цель максимизации вероятности выбора истинной модели.

2) Оценки коэффициентов регрессии при факторах, ранее введенных в уравнение, как правило, меняются после введения дополнительного фактора. Они остаются прежними в двух и только двух случаях: а) если неизменным остается коэффициент детерминации и выполняется условие (7.53) (в этом случае уравнение в целом остается прежним, т.к. a2 =0); б) если новый фактор ортогонален старым ( 1 и 2 линейно не зависят друг от друга), т.е.

A m12 = Z1Z2 =0 (7.61) N (в этом случае объясненная дисперсия равна сумме C F дисперсий, объясненных факторами 1 и 2 по отO дельности).

D -Действительно, в соотношении (7.58) M11 mE не может равняться нулю при m12 =0, т.к. M невырожденная матрица. Поэтому из данного соB отношения следует, что оценки a1 не меняются, если a2 =0 (случай «а») или/и m12 =0 (случай Рис. 7.«б»).

Случай «а», как это следует из (7.59), возникает, когда выполняется (7.53).

В случае «б» соотношение (7.60) переписывается следующим образом:

(7.9) a=as2 = m a + m2a2 = m a1 + m2a2, q 1 1 т.к. вторая (нижняя) часть системы (7.55) означает в этом случае, что m22a2 = m2, т.е. a2 — оценка параметра в регрессии x по 2:

x = 2a2 + e2 = s2 + s2, (7.62) q qгде s2 — дисперсия x, объясненная только 2.

qЧто и требовалось доказать.

Иллюстрация случая «а» при n1 =1 достаточно очевидна и дана выше. Рисунок 7.иллюстрирует случай «б». На этом рисунке: OA — x, OB — 1, OC — 2, EA — e, нормаль x на 1, FA — e2, нормаль x на 2, DA — e, нормаль x на плоскость, определенную 1 и 2, ED —нормаль к 1, FD —нормаль к 2.

Понятно (геометрически), что такая ситуация, когда точка E является одновременно началом нормалей EA и ED, а точка F — началом нормалей FA и FD, возможна только в случае, если угол COB равен 90.

7.3. Независимые факторы: спецификация модели Но именно этот случай означает (как это следует из рисунка) одновременное выполнение соотношений регрессий (7.51) ( OE + EA = OA), (7.52) (при a = a1) ( OE+OF +DA = OA) и (7.62) ( OF +FA = OA), т.е. что введение нового фактора не меняет оценку при «старом» факторе, а «новая» объясненная дисперсия равна сумме дисперсий, объясненных «старым» и «новым» факторами по отдельности (сумма квадратов длин векторов OE и OF равна квадрату длины вектора OD).

На основании сделанных утверждений можно сформулировать такое правило введения новых A факторов в уравнение регрессии: вводить в регрессию следует такие факторы, которые имеют высокую корреляцию с остатками по уже введенным факторам и низкую корреляцию с этими уже O введенными факторами. В этом процессе следует D C пользоваться F -критерием: вводить новые факторы до тех пор, пока уменьшается показатель pv B F -статистики.

В таком процессе добавления новых факторов Рис. 7.в регрессионную модель некоторые из ранее введенных факторов могут перестать быть значимыми, и их следует выводить из уравнения.

Эту возможность иллюстрирует рисунок 7.5 в пространстве наблюдений при n1 =1.

На этом рисунке: OA — x, OB— 1, OC — 2, AD —нормаль x на плос кость, определенную 1 и 2.

Рисунок показывает, что нормаль AD «легла» на вектор вновь введенного фактора.

Следовательно, «старый» фактор входит в «новую» регрессию с нулевым коэффициентом.

Это — крайний случай, когда «старый» фактор автоматически выводится из уравнения. Чаще встречается ситуация, в которой коэффициенты при некоторых «старых» факторах оказываются слишком низкими и статистически незначимыми.

Процесс, в котором оценивается целесообразность введения новых факторов и выведения ранее введенных факторов, называется шаговой регрессией. Вразвитой форме этот процесс можно организовать следующим образом.

Пусть z — полный набор факторов, потенциально влияющих на x. Рассматривается процесс обращения матрицы ковариации переменных x, z, в начале которого рядом с этой матрицей записывается единичная матрица. С этой парой матриц производятся одновременные линейные преобразования. Известно, что если первую матрицу привести таким образом к единичной, то на месте второй будет получена матрица, обратная к матрице ковариации. Пусть этот процесс не завершен, 242 Глава 7. Основная модель линейной регрессии и только n1 строк первой матрицы, начиная с ее второй строки (т.е. со строки первого фактора), преобразованы в орты; z1 — множество факторов, строки которых преобразованы в орты, z2 — остальные факторы. Это — ситуация на текущем шаге процесса.

В начале процесса пара преобразуемых матриц имеет вид (над матрицами показаны переменные, которые соответствуют их столбцам):

x z1 z2 x z1 z mxx m m 1 0 1, m1 M11 M12 и 0 I1 m2 M12 M22 0 0 Iгде mxx = X X — дисперсия x, N m1 = Z1X — вектор-столбец коэффициентов ковариации z1 и x, N m2 = Z2X — вектор-столбец коэффициентов ковариации z2 и x, N M11 = Z1Z1 — матрица коэффициентов ковариации z1 между собой, N M12 = Z1Z2 — матрица коэффициентов ковариации z1 и z2, N M22 = Z2Z2 — матрица коэффициентов ковариации z2 между собой.

N На текущем шаге эти матрицы преобразуются к виду:

Pages:     | 1 |   ...   | 27 | 28 || 30 | 31 |   ...   | 82 |



© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.