WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!


Pages:     | 1 | 2 || 4 | 5 |   ...   | 7 |

8(**). Показать, что МНК в ортогональной регрессии сводится к поиску собственных чисел и векторов ковариационной матрицы. Почему остаточная дисперсия равна минимальному собственному числу этой матрицы 9(*). Почему для определения расчетных значений пременных в ортогональной регрессии используется приведенная формула 10(*). Дать геометрическую иллюстрацию ортогональной регрессии, главным компонентам и главным факторам в пространстве переменных.

11. В каком случае преобразование в пространстве наблюдений можно применять к сокращенной форме уравнения регрессии Почему преобразование в пространстве переменных всегда применимо к сокращенной форме уравнения 12(*). Доказать, что в случае простой регрессии преобразование в пространстве переменных приводит к новым оценкам только в случае, если независимая переменная в результате проведенного преобразования “попадает” в правую часть уравнения. Показать, что в таком случае оценки все-таки не меняются, если завивимость между переменными функциональная.

13(*). Показать, что оценки простой регрессии в стандартизированной шкале получаются, если в системе нормальных уравнений использовать не ковариационную, а корреляционную матрицу.

14. Вывести приведенную формулу для оценки регрессии в метрике -1.

15(*). Совпадают ли полученные по ковариационной и корреляционной матрице оценки ортогональной регрессии и главных компонент с точностью до обратного преобразования 4. Основная модель линейной регрессии 4.1. Различные формы уравнения регрессии x - моделируемая переменная;

z - n-вектор-строка независимых факторов;

x = z + + - уравнение регрессии;

X, Z - N-вектор и N n-матрица наблюдений за соответствующими переменными;

z - n-вектор-строка средних значений переменных z.

Первые две формы уравнения регрессии по наблюдениям аналогичны используемым в предыдущем разделе и имеют следующий вид:

X = Z + 1N +, = + + = + + = + + или X = Za + 1N b + e (истинные значения заменены их оценками) = + + = + + = + + - исходная форма;

X = Z a + e = + = + = + - сокращенная форма.

Оператор МНК-оценивания для этих двух форм имеет следующий вид:

a = M-1m, b = x - za, = = = = = = где M = Z/ Z - nxn-матрица ковариации (вторых центральных моментов) = = = N z;

m = Z/ X - n-вектор-столбец ковариации между z и x.

= = = N Третья форма - без свободного члена - записывается следующим образом:

= + X = Za + e, = + = + где Z - N (n+1)-матрица, последний столбец которой состоит из единиц (равен 1N);

a - (n+1)-вектор-столбец, последний элемент которого является свободным членом регрессии.

Какая из этих форм регрессии используется и, соответственно, что именно означают a и Z, будет в дальнейшем ясно из контекста или будет специально поясняться.

В этом разделе, в основном, используется форма уравнения регрессии без свободного члена.

Оператор МНК-оценивания для нее записывается более компактно:

-a = M m, = = = = но M = Z/Z - (n+1) = (n+1)-матрица вторых начальных моментов = N [z,1];

m = Z/X - (n+1)-вектор-столбец вторых начальных моментов между = = = N [z,1] и x.

Если в этом операторе вернуться к обозначениям первых двух форм уравнения регрессии, то получится следующее выражение:

- - - a M-1 -M-1z/ m + z/x - + - + - + =, = = = b -1 - - + x + + -zM 1 + zM-1z/ - - - из которого видно, что - обратная матрица ковариации z (размерности N совпадает с N) соответствующим блоком обратной матрицы вторых начальных моментов (размерности (N+1) (N+1));

- результаты применения двух приведенных операторов оценивания одинаковы.

4.2. Основные гипотезы, свойства оценок 1. Между переменными x и z существует зависимость x = z +.

+ 2. Переменные z детерминированы, наблюдаются без ошибок и линейно независимы (в алгебраическом смысле).

3. E( ) = 0, E(/) = 2IN.

4. В модели линейной регрессии математической статистики, в которой переменные z случайны, предполагается, что ошибки не зависят от них и - по крайней мере - не скоррелированы с ними. В данном случае это предположение формулируется так: независимо от того, какие значения принимают переменные z, ошибки удовлетворяют гипотезе 3.

В этих предположениях a относится к классу линейных оценок, т.к.

a = LX, где L = (Z/Z)-1Z/ - неслучайный (n+1) (N+1)-оператор оценивания;

а также доказывается что - a является несмещенной оценкой, их матрица ковариации Ma равна 2M-1 (в обозначениях сокращенной формы уравнения регрессии это N выражение давало бы - как показано в предыдущем пункте - матрицу ковариации коэффициентов регрессии при независимых факторах, а дисперсия свободного члена + определялась бы по формуле (1 + zM-1z/ ) ), и дисперсия любой их линейной + + N комбинации минимальна на множестве линейных оценок, т.е. они относятся к классу BLUE - Best Linear Unbiased Estimators;



- несмещенной оценкой 2 является N = s2 = s2 = e/e.

= = e e N - n - 1 N - n - - - - - - - - - - Для расчета коэффициента детерминации можно использовать следующую формулу:

q - x R2 =, = = = mxx - x -где q = a/Ma = m/M m = m/a = a/m, = = = = = = = = = = = = / mxx = XX.

= = = N Если предположить, что (и, следовательно, их оценки e) распределены нормально:

~ N(0,2IN ), то оценки a также будут иметь нормальное распределение:

a ~ N(, Ma ), они совпадут с оценками максимального правдоподобия, будут несмещенными, состоятельными и эффективными.

В этом случае можно строить доверительные интервалы для оценок и использовать статистические критерии проверки гипотез.

(1- )100-процентный доверительный интервал для i, i =1,...,n+ (n+1= ), строится следующим образом:

ai ± sa i tN - n-1,1-, ± ± ± - - - - - - - - - - где sa i = s m-1 - среднеквадратическое отклонение ai ( m-1 - ii-й = = = e ii ii N элемент матрицы M-1);

tN-n-1,1- - (1)100-процентный двусторонний квантиль tN-n-1-распределения.

Для проверки нулевой гипотезы i = 0 применяется t-критерий. Гипотеза отвергается (влияние i-го фактора считается статистически значимым) с вероятностью ошибки (1-го рода), если ai tN - - -, - - - - sa i - n-1,1- ai т.к. при выполнении нулевой гипотезы величина имеет tN-n-1-распределение.

sa i Эта величина называется t-статистикой (ti-статистикой) и ее фактическое значение обозначается в дальнейшем tc.

i При использовании современных статистических пакетов программ не требуется искать нужные квантили t-распределения в статистических таблицах, поскольку в них (пакетах) рассчитывается уровеньошибки c, с которой можно i отвергнуть нулевую гипотезу, т.е. такой, что:

tc = tN - n-1,1- c, = = = i - - - - - - - i и, если он меньше желаемого значения либо равен ему, то нулевая гипотеза отвергается.

Для проверки нулевой гипотезы об отсутствии искомой связи = 0, i = 1,..., n применяется F-критерий. Если эта гипотеза верна, величина = = = = = = i R2(N - n - 1) - - - (1 - R2)n имеет Fn,N-n-1-распределение. Данная величина называется F-статистикой и ее фактическое значение обозначается в дальнейшем Fc. Нулевая гипотеза отвергается (влияние z на x считается статистически значимым) с вероятностью ошибки (1-го рода), если Fc Fn,N - n-1,1-, - - - - - - - где Fn,N-n-1,1- - (1)100-процентный (односторонний) квантиль Fn,N-n-1 распределения.

В современных статистических пакетах программ также рассчитывается уровень с ошибки для Fc, такой, что Fc = Fn, N - n-1,1- c.

= = = - - - - - - - Уместно отметить, что приведенные в разделе 2.1. сведения являются частным случаем рассмотренных здесь результатов при n=0.

4.3. Независимые факторы Если не выполняется 2-я гипотеза, и некоторые из переменных z линейно зависят от других, то матрица M вырождена, и использование приведенного оператора оценивания невозможно.

Вообще говоря, предложить метод оценивания параметров регрессии в этом случае можно. Так, пусть множество независимых факторов разбито на две части (в этом фрагменте используются обозначения сокращенной формы уравнения регрессии):

a z = [z1,z2 ], Z = [Z,Z ], a =, = = = = = = = = = 1 a и Z = Z C12.

= = = 2 Тогда можно записать уравнение регрессии в форме X = Z (a1 + C12a2) + e, = + = + = + и оценить линейную комбинацию параметров a1 + C12a2 (предполагая, что + + + столбцы Z1 линейно независимы). Но чтобы оценить сами параметры, нужна априорная информация, например: a2 = 0.

= = = Однако вводить в регрессию факторы, которые линейно зависят от уже введенных факторов, не имеет смысла, т.к. при этом не растет объясненная дисперсия (см. ниже).

На практике редко встречается ситуация, когда матрица M вырождена. Более распространен случай, когда она плохо обусловлена (между переменными Z существуют зависимости близкие к линейным). В этом случае имеет место мультиколлинеарность факторов. Поскольку гипотеза 2 в части отсутствия ошибок измерения, как правило, нарушается, получаемые (при мультиколлинеарности) оценки в значительной степени обусловлены этими ошибками измерения. В таком случае (если связь существует), обычно, факторы по отдельности оказываются незначимыми по t-критерию, а все вместе существенными по F-критерию. Поэтому в регрессию стараются не вводить факторы сильно скоррелированные с остальными.

В общем случае доказывается, что s2 = s21 + s212 s2, 0 s212 s22, = + = + = + q q q x q q где s2 и s2 - дисперсии, объясненные факторами z1 и z2 по отдельности;

q1 qs2 - прирост объясненной дисперсии, вызванный добавлением в qрегрессии факторов z2 к факторам z1.

В соотношении для прироста объясненной дисперсии:

- левая часть выполняется как строгое равенство, если и только если s21 = s2 (коэффициент детерминации в регрессии по z1 уже равен = = = q x единице), или вектор остатков в регрессии по z1 ортогонален факторам Z, т.е. имеет с ними нулевую корреляцию (возможное влияние факторов z2 уже “приняли” на себя факторы z1), или факторы Z линейно зависят от факторов Z ;





2 - правая часть выполняется как строгое равенство, если и только если факторы Z ортогональны факторам Z.

2 Если в множество линейно независимых факторов добавлять новые элементы, то коэффициент детерминации растет вплоть до единицы, после чего рост прекращается. Своего максимального значения он обязательно достигнет при n = N (возможно и раньше) - даже если вводимые факторы не влияют по-существу на изучаемую переменную. Поэтому сам по себе коэффициент детерминации не может служить статистическим критерием “качества” уравнения регрессии. Более приемлем в этой роли коэффициент детерминации, скорректированный на число степеней свободы:

N - R2 = 1 - (1 - R2), = - = - = - N - n - - - - который может и уменьшиться при введении нового фактора. Точную же статистическую оценку качества (в случае нормальности распределения остатков) дает F-критерий. Однако учитывая, что значения Fc оказываются несопоставимыми при изменении n (т.к. получают разное число степеней свободы), наиболее правильно эту роль возложить на уровень ошибки с для Fc.

В результате введения новых факторов в общем случае меняются оценки параметров при ранее введенных факторах:

a1 = a1 + A12a2, = + = + = + где a1 - оценка параметров регрессии по z1 (до введения новых факторов);

A12 - матрица, столбцы которой являются оценками параметров регрессии переменных z2 по z1.

“Старые” оценки параметров сохраняются (a1 = a1 ), если и только если = = = - коэффициент детерминации в регрессии по z1 уже равен единице, или вектор остатков в регрессии по z1 ортогонален факторам Z (в этих двух случаях a2 = 0), или факторы Z ортогональны факторам Z (в этом случае A12 = 0).

2 Итак, возникает проблема определения истинного набора факторов, фигурирующих в гипотезе 1, который позволил бы найти оценки истинных параметров регрессии. Определение такого набора факторов есть спецификация модели. Формальный подход к решению этой проблемы заключается в поиске так называемого наилучшего уравнения регрессии, для чего используется процесс (метод) шаговой регрессии.

Пусть z - полный набор факторов, потенциально влияющих на x.

Рассматривается процесс обращения матрицы ковариации переменных [x,z]. В паре матриц (n+1) (n+1) mxx mx1 mx2.. mxn 1 0 0.. m m11 m12.. m1n0 1 0.. 1x m2x m21 m22.. m2n0 0 1............

..........

mn1 mn2.. mnn0 0 0.. mnx делаются одновременные преобразования их строк в орты. Известно, что, если 1-ю матрицу преобразовать в единичную, то на месте 2-й матрицы будет получена обратная к 1-й (исходной). Пусть этот процесс не завершен, и только несколько строк 1-й матрицы (но не ее 1-я строка) преобразованы в орты. Это - ситуация на текущем шаге процесса.

На этом шаге строкам-ортам в 1-й матрице соответствуют включенные в регрессию факторы, на их месте в 1-й строке этой матрицы оказываются текущие оценки параметров регрессии при них. Строкам-ортам во 2-й матрице соответствуют невведенные факторы, на их месте в 1-й строке 1-й матрицы размещаются коэффициенты ковариации этих факторов с текущими остатками изучаемой переменной. На месте mxx показывается текущее значение остаточной дисперсии.

На каждом шаге оцениваются последствия введения в регрессию каждого не включенного фактора (преобразованием в орты сответствующих строк 1-й матрицы) и исключения каждого введенного ранее фактора (преобразованием в орты соответствующих строк 2-й матрицы). Выбирается тот вариант, который дает минимальный уровень ошибки с для Fc. Процесс продолжается до тех пор, пока этот уровень сокращается.

Иногда в этом процессе используются более простые критерии. Например, задается определенный уровень t-статистики (правильнее - уровень ошибки с для tc), и фактор вводится в уравнение, если фактическое значение tc для него выше заданного уровня (ошибка с ниже ее заданного уровня), фактор исключается из уравнения в противном случае.

Такие процессы, как правило, исключают возможность введения в уравнение сильно скоррелированных факторов, т.е. решают проблему мультиколлинеарности.

Формальные подходы к спецификации модели должны сочетаться с теоретическими подходами, когда набор факторов и, часто, знаки параметров регрессии определяются из теории изучаемого явления.

4.4. Прогнозирование Требуется определить наиболее приемлемое значения для xN+1 (прогноз), если известны значения независимых факторов (вектор-строка):

zN +1 = [z1, N +1,..., zn, N +1,1].

= = = + + + + + + + + + x = zN +1 + - истинное значение искомой величины;

= + N += + = + N +1 + + + + + + + + + x0 +1 = E(x ) = zN +1 - ожидаемое значение;

Pages:     | 1 | 2 || 4 | 5 |   ...   | 7 |





© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.