Построить модель множественной регрессии

Аномальные выбросы определим графически, построив корреляционные поля для каждой независимой переменной и фактора Y:
Видим, что аномальное наблюдение присутствует в столбце X5 для 10-го наблюдения, что скорее всего приведёт к незначимости коэффициента регрессии при факторе X5. Объект №10 исключаем из рассмотрения. Получили обновлённую матрицу данных
№ Объекта Y X1 X2 X3 X4 X5 X6
1 10,6 16,8 12,6 5,7 1 3,2 0,06
2 19,7 33,1 4,5 8 0,4 2,8 0,08
3 17,7 9,9 7,7 4,6 0,6 3 0,08
4 17,5 63,1 8,6 4,1 0,7 2,8 0,08
5 15,7 32,8 6,3 8 0,5 2,8 0,1
6 11,3 40,3 9,9 5,2 0,8 3,1 0,08
7 14,4 28,3 7,7 7,1 0,6 3 0,09
8 9,4 25,2 14,6 7,2 1,2 3,2 0,11
9 11,9 47,3 9,9 4,5 0,7 3 0,13
11 8,9 25,4 14,6 6,5 1,2 3,2 0,08
12 14,5 14,2 8 8,5 0,7 3,2 0,13
Анализ матрицы коэффициентов парных корреляций
С помощью надстройки Анализа данных Корреляция строим корреляционную матрицу:
  Y X1 X2 X3 X4 X5
Y 1
X1 0,147997 1
X2 -0,90417 -0,13677 1
X3 0,064285 -0,43093 -0,21542 1
X4 -0,87659 -0,17895 0,988388 -0,12143 1
X5 -0,80524 -0,56354 0,769958 0,071054 0,787002 1
X6 -0,10022 0,044051 -0,06112 0,283557 -0,08251 0,111201
Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если . Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами.
В таблице выявляем тесно коррелирующие факторы. Таким образом, не трудно заметить достаточно высокий коэффициент корреляции между факторами Х2 и Х4, а также между факторами Х4 и X5, Х2 и X5. Наиболее тесную связь с результатом имеет фактор Х2. Его оставим в модели, а Х4 и Х5 исключим.
Построение уравнения линейной регрессии
Используем надстройку анализа данных Microsoft Excel «Регрессия».
Получаем следующие результаты:
ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R 0,922528
R-квадрат 0,851057
Нормированный R-квадрат 0,751762
Стандартная ошибка 1,807682
Наблюдения 11
Дисперсионный анализ
  df
SS MS F Значимость F
Регрессия 4 112,0301 28,00752 8,570981 0,01174
Остаток 6 19,60629 3,267714
Итого 10 131,6364      
  Коэфф-ты Стандартная ошибка t-статистика P-Значение Нижние 95% Верхние 95%
Y-пересечение 27,37021 4,592442 5,959837 0,000999 16,13291 38,60751
X1 -0,00555 0,043311 -0,12823 0,902155 -0,11153 0,100424
X2 -1,04322 0,185854 -5,61312 0,001364 -1,49799 -0,58845
X3 -0,26101 0,449979 -0,58006 0,582987 -1,36207 0,840046
X6 -20,1741 27,1533 -0,74297 0,485561 -86,6159 46,26761
Получили прогнозную модель:
Y=27.37-0.00555X1-1.043X2-0.261X3-20.174X6
Значимость каждого фактора в отдельности по t-критерию можно оценить по столбцам t-стат и P-Значение. (Реально достигнутый уровень значимости - РДУЗ). Если в случае вышеприведенного критерия при некоторой выборке статистика приняла расчетное значение ρ, то реально достигнутый уровень значимости — это вероятность того, что при верной гипотезе H0 статистика ρ превысит данной расчетное значение:
РДУЗ=Pρ>ρH0 верна=1-F0(ρ) .
где F0y — функция распределения F0; таким образом, РДУЗ — это не что иное, как «вероятность хвоста» распределения статистики, на которой основан критерий, при верной нулевой гипотезе.
Квадрат эмпирического коэффициента корреляции называется коэффициентом детерминации . Коэффициент детерминации показывает долю вариации результативного признака, находящегося под воздействием изучаемых факторов, т.е. определяет, какая доля вариации признака Y учтена в модели и обусловлена влиянием на него фактора X.
Следовательно, около 85.11% вариаций зависимой переменной учтено в модели и обусловлено влиянием всех факторов. Таким образом, качество модели очень высокое.
Нулевая гипотеза при применении t-критерия Стьюдента заключается в равенстве нулю коэффициентов линейной регрессии ai. В данном примере видно, что РДУЗ напротив фактора X2 (константа на значимость традиционно не проверяется) «достаточно мал» (составляет менее одного из стандартных приемлемых уровней допустимой вероятности ошибки первого уровня — 0.1 и 0.05). Следовательно, нулевая гипотеза о равенстве нулю соответствующего коэффициента отвергается, фактор X2 значимый. P-Значение для факторов X1,X3и X6 значительно превышает 0,1, т.е. эти факторы незначимые.
У фактора X1 t-критерий оказался самым низким . Следовательно фактором X1 можно пренебречь. Вычеркнем этот фактор.
ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R 0,922306
R-квадрат 0,850649
Нормированный R-квадрат 0,786641
Стандартная ошибка 1,67588
Наблюдения 11
Дисперсионный анализ
  df
SS MS F Значимость F
Регрессия 3 111,9763 37,32545 13,28982 0,002818
Остаток 7 19,66002 2,808574
Итого 10 131,6364      
  Коэфф-ты Стандартная ошибка t-статистика P-Значение Нижние 95% Верхние 95%
Y-пересечение 27,02029 3,424523 7,890236 9,95E-05 18,92258 35,118
X2 -1,03689 0,166119 -6,24185 0,000428 -1,4297 -0,64408
X3 -0,23181 0,35979 -0,64429 0,539918 -1,08258 0,61896
X6 -20,867 24,67012 -0,84584 0,425608 -79,2025 37,46862
Коэффициент детерминации R2=0.8506.
P-Значение для факторов X3 и X6 значительно превышает 0,05, т.е. эти факторы незначимые. У фактора X3 t-критерий оказался самым низким. Следовательно фактором X3 можно пренебречь. Вычеркнем этот фактор.
ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R 0,917492
R-квадрат 0,841792
Нормированный R-квадрат 0,80224
Стандартная ошибка 1,613454
Наблюдения 11
Дисперсионный анализ
  df
SS MS F Значимость F
Регрессия 2 110,8105 55,40524 21,28323 0,000626
Остаток 8 20,82588 2,603235
Итого 10 131,6364      
  Коэфф-ты Стандартная ошибка t-статистика P-Значение Нижние 95% Верхние 95%
Y-пересечение 25,75643 2,702456 9,53075 1,21E-05 19,52456 31,98831
X2 -1,01474 0,156469 -6,48526 0,000191 -1,37556 -0,65392
X6 -25,2763 22,81897 -1,10769 0,300186 -77,897 27,34434
Коэффициент детерминации R2=0.8417.
P-Значение для фактора X6 значительно превышает 0,05, т.е