Множественный регрессионный анализ

Слайд #1

Множественный регрессионный анализ часть значения у, которая объяснена уравнением регрессии с несколькими факторами необъясненная часть значения у (или возмущение) Множественная регрессия – это уравнение связи с несколькими независимыми переменными:

Слайд #2

Построение уравнения регрессии 1. Постановка задачи Данные наблюдений По имеющимся данным n наблюдений за совместным изменением параметров y, xj и ((yi,xj,i); j=1, 2, ..., p; i=1, 2, ..., n) необходимо определить аналитическую зависимость ŷ = f(x1,x2,...,xp), наилучшим образом описывающую данные наблюдений. Критерий качества выбранной зависимости:

Слайд #3

2. Спецификация модели 2.1. Отбор факторов, подлежащих включению в модель Требования к отбираемым факторам Факторы не должны быть взаимно коррелированы Факторы должны быть количественно измеримы целесообразность включения каждого нового фактора оценивается с помощью коэффициента детерминации; при возникновении необходимости добавить в уравнение качественный фактор вводится «фиктивная» переменная Пример: y – себестоимость единицы продукции x – заработная плата работника z – производительность труда

Слайд #4

Парная коллинеарность и мультиколлинеарность Две переменные считаются явно коллинеарными, т.е. находятся между собой в линейной зависимости, если коэффициент интеркорреляции (корреляции между двумя объясняющими переменными) ≥ 0,7. Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из уравнения. Мультиколлинеарность – линейная зависимость между более чем двумя переменными, т.е. совокупное воздействие факторов друг на друга.

Слайд #5

Включение в модель мультиколлинеарных факторов нежелательно по следующим причинам: затрудняется интерпретация параметров множественной регрессии; параметры линейной регрессии теряют экономический смысл; оценки параметров не надежны, имеют большие стандартные ошибки и меняются с изменением количества наблюдений (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования.

Слайд #6

Оценка мультиколлинеарности Для оценки мультиколлинеарности используется определитель матрицы парных коэффициентов интеркорреляции: (!) Если факторы не коррелируют между собой, то матрица коэффициентов интеркорреляции является единичной, поскольку в этом случае все недиагональные элементы равны 0. Например, для уравнения с тремя переменными

Слайд #7

(!) Если между факторами существует полная линейная зависимость и все коэффициенты корреляции равны 1, то определитель такой матрицы равен 0. Чем ближе к 0 определитель матрицы коэффициентов интеркорреляции, тем сильнее мультиколлинеарность и ненадежнее результаты множественной регрессии. Чем ближе к 1 определитель матрицы коэффициентов интеркорреляции, тем меньше мультиколлинеарность факторов.

Слайд #8

Способы преодоления мультиколлинеарности факторов: исключение из модели одного или нескольких факторов; переход к совмещенным уравнениям регрессии, т.е. к уравнениям, которые отражают не только влияние факторов, но и их взаимодействие. Например, если , то можно построить следующее совмещенное уравнение: переход к уравнениям приведенной формы (в уравнение регрессии подставляется рассматриваемый фактор, выраженный из другого уравнения).

Слайд #9

2. Спецификация модели 2.2. Выбор формы уравнения регрессии Линейная регрессия Линеаризуемые регрессии Степенная регрессия Экспоненциальная регрессия Гиперболическая регрессия

Слайд #10

Например, зависимость спроса на товар (Qd) от цены (P) и дохода (I) характеризуется следующим уравнением: Qd = 2,5 - 0,12P + 0,23 I. Коэффициенты данного уравнения говорят о том, что при увеличении цены на единицу, спрос уменьшится в среднем на 0,12 единиц, а при увеличении дохода на единицу, спрос возрастет в среднем 0,23 единицы. Например, зависимость выпуска продукции Y от затрат капитала K и труда L: говорит о том, что увеличение затрат капитала K на 1% при неизменных затратах труда вызывает увеличение выпуска продукции Y на 0,23%. Увеличение затрат труда L на 1% при неизменных затратах капитала K вызывает увеличение выпуска продукции Y на 0,81%.

Слайд #11

3. Оценка параметров модели 3.1. МНК или Отсюда получаем систему уравнений:

Слайд #12

Решение системы уравнений с помощью метода определителей: где ∆ – определитель системы: ∆a, ∆b1, ∆bp – частные определители (∆j) , которые получаются из основного определителя путем замены j-го столбца на столбец свободных членов

Слайд #13

3. Оценка параметров модели 3.2. Метод оценки параметров через стандартизованные коэффициенты β Уравнение регрессии в стандартизованном (нормированном) масштабе: где , - стандартизованные переменные β - стандартизованные коэффициенты регрессии. β-коэффициенты показывают, на сколько сигм (средних квадратических отклонений) изменится в среднем результат за счет изменения соответствующего фактора xi на одну сигму при неизменном среднем уровне других факторов.

Слайд #14

Взаимосвязь bi и β Связь коэффициентов «чистой» регрессии bi с коэффициентами βi описывается соотношением: или Параметр a определяется как: Коэффициенты β определяются при помощи МНК из следующей системы уравнений методом определителей:

Слайд #15

4. Проверка качества уравнения регрессии Н0: уравнение статистически не значимо yi = ŷi + εi D(y) = D(ŷ) + D(ε) полная (общая) сумма квадратов отклонений = сумма квадратов отклонений, объясненная регрессией + (остаточная) сумма квадратов отклонений, не объясненная регрессией

Слайд #16

F-критерий Фишера: где m – число независимых переменных в уравнении регрессии; n – число единиц совокупности. Если Fфакт > Fтабл, то Н0 о случайной природе связи отклоняется и признается статистическая значимость и надежность уравнения. Если Fфакт < Fтабл, то Н0 не отклоняется и признается статистическая незначимость уравнения регрессии.

Слайд #17

Частный F-критерий: - оценивает статистическую значимость присутствия каждого из факторов в уравнении.