Часть II. Модель множественной регрессии

Множественная регрессия – регрессия между переменными  и  т.е. модель вида: 

где  – зависимая переменная (результативный признак);

 – независимые объясняющие переменные;

 – возмущение или стохастическая переменная, включающая влияние неучтенных в модели факторов;

 – число параметров при переменных 

Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.

Уравнение множественной линейной регрессии в случае  независимых переменных имеет вид  а в случае двух независимых переменных –  (двухфакторное уравнение).

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов. Строится система нормальных уравнений:

Решение этой системы позволяет получить оценки параметров регрессии с помощью метода определителей

 …, 

где  – определитель системы;

 – частные определители, которые получаются путем замены соответствующего столбца матрицы определителя системы данными правой части системы.

Для двухфакторного уравнения коэффициенты множественной линейной регрессии можно вычислить по формулам:

Частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне. Эффекты влияния других факторов присоединены в них к свободному члену уравнения множественной регрессии. Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности:

Средние коэффициентами эластичности показывают на сколько процентов в среднем изменится результат при изменении соответствующего фактора на 1%:

Их можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.

Тесноту совместного влияния факторов на результат оценивает коэффициент (индекс) множественной корреляции:

Величина индекса множественной корреляции лежит в пределах от 0 до 1 и должна быть больше или равна максимальному парному индексу корреляции: 

Чем ближе значение индекса множественной корреляции к 1, тем теснее связь результативного признака со всем набором исследуемых факторов.

Сравнивая индексы множественной и парной корреляции, можно сделать вывод о целесообразности (величина индекса множественной корреляции существенно отличается от индекса парной корреляции) включения в уравнение регрессии того или иного фактора.

При линейной зависимости совокупный коэффициент множественной корреляции определяется через матрицу парных коэффициентов корреляции:

где  – определитель матрицы парных коэффициентов корреляции;

– определитель матрицы межфакторной корреляции.

Частные коэффициенты корреляциихарактеризуют тесноту линейной зависимости между результатом и соответствующим фактором при устранении влияния других факторов. Если вычисляется, например,  (частный коэффициент корреляции между и  при фиксированном влиянии ), это означает, что определяется количественная мера линейной зависимости между  и  которая будет иметь место, если устранить влияние на эти признаки фактора 

Частные коэффициенты корреляции, измеряющие влияние на  фактора  при неизменном уровне других факторов, можно определить как:

или по рекуррентной формуле:

Для двухфакторного уравнения:

  или

Частные коэффициенты корреляции изменяются в пределах от -1 до +1.

Сравнение значений парного и частного коэффициентов корреляции показывает направление воздействия фиксируемого фактора. Если частный коэффициент корреляции  получится меньше, чем соответствующий парныйкоэффициент  значит взаимосвязь признаков  и  в некоторой степени обусловлена воздействием на них фиксируемой переменной  И наоборот, большее значение частного коэффициента по сравнению с парным свидетельствует о том, что фиксируемая переменная  ослабляет своим воздействием связь  и 

Порядок частного коэффициента корреляции определяется количеством факторов, влияние которых исключается. Например, – коэффициент частной корреляции первого порядка.

Зная частные коэффициенты корреляции (последовательно первого, второго и более высокого порядка), можно определить совокупный коэффициент множественной корреляции:

Качество построенной модели в целом оценивает коэффициент (индекс) множественной детерминации, который рассчитывается как квадрат индекса множественной корреляции:  Индекс множественной детерминации фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии факторов. Влияние других, не учтенных в модели факторов, оценивается как 

Если число параметров при  близко к объему наблюдений, то коэффициент множественной корреляции приблизится к единице даже при слабой связи факторов с результатом. Для того чтобы не допустить возможногопреувеличения тесноты связи, используется скорректированный индекс множественной корреляции, который содержит поправку на число степеней свободы:

Чем больше величина  тем сильнее различия  и 

Значимость частных коэффициентов корреляции проверяется аналогично случаю парных коэффициентов корреляции. Единственным отличием является число степеней свободы, которое следует брать равным =--2.

Значимость уравнения множественной регрессии в целом, так же как и в парной регрессии, оценивается с помощью -критерия Фишера:

Мерой для оценки включения фактора в модель служит частный -критерий. В общем виде для фактора  частный -критерий определяется как

Для двухфакторного уравнения частные -критерии имеют вид:

Если фактическое значение превышает табличное, то дополнительное включение фактора  в модель статистически оправданно и коэффициент чистой регрессии  при факторе  статистически значим. Если же фактическое значение  меньше табличного, то фактор нецелесообразно включать в модель, а коэффициент регрессии при данном факторе в этом случае статистически незначим.

Для оценки значимости коэффициентов чистой регрессии по -критерию Стьюдента используется формула:

где  – коэффициент чистой регрессии при факторе 

 – средняя квадратическая (стандартная) ошибка коэффициента регрессии  которая может быть определена по формуле:

При дополнительном включении в регрессию нового фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться. Если это не так, то включаемый в анализ новый фактор не улучшает модель и практически является лишним фактором. Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по -критерию Стьюдента.

При построении уравнения множественной регрессии может возникнуть проблема мультиколлинеарности факторов. Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если  Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами. Чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И наоборот, чем ближе к 1 определитель, тем меньше мультиколлинеарность факторов.

Для применения МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это означает, что для каждого значения фактора  остатки  имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность. При нарушении гомоскедастичности выполняются неравенства  

Наличие гетероскедастичности можно наглядно видеть из поля корреляции (рис. 9.22).

а)б)

в)

Рис. 9.22. Примеры гетероскедастичности:

а) дисперсия остатков растет по мере увеличения 

б) дисперсия остатков достигает максимальной величины при средних значениях переменной  и уменьшается при минимальных и максимальных значениях 

в) максимальная дисперсия остатков при малых значениях  и дисперсия остатков однородна по мере увеличения значений 

Для проверки выборки на гетероскедастичность можно использовать метод Гольдфельда-Квандта (при малом объеме выборки) или критерий Бартлетта (при большом объеме выборки).

Последовательность применения теста Гольдфельда-Квандта:

1) Упорядочить данные по убыванию той независимой переменной, относительно которой есть подозрение на гетероскедастичность.

2) Исключить из рассмотрения  центральных наблюдений. При этом  где  – число оцениваемых параметров. Из экспериментальных расчетов для случая однофакторного уравнения регрессии рекомендовано при =30 принимать =8, а при =60 соответственно =16.

3) Разделить совокупность из  наблюдений на две группы (соответственно с малыми и большими значениями фактора ) и определить по каждой из групп уравнение регрессии.

4) Вычислить остаточную сумму квадратов для первой  и второй  групп и найти их отношение  где При выполнении нулевой гипотезы о гомоскедастичности отношение  будет удовлетворять -критерию Фишера со степенями свободы  для каждой остаточной суммы квадратов. Чем больше величина  превышает  тем более нарушена предпосылка о равенстве дисперсий остаточных величин.

Если необходимо включить в модель факторы, имеющие два или более качественных уровней (пол, профессия, образование, климатические условия, принадлежность к определенному региону и т.д.), то им должны быть присвоены цифровые метки, т.е. качественные переменные преобразованы в количественные. Такого вида сконструированные переменные называют фиктивными (искусственными) переменными.

Коэффициент регрессии при фиктивной переменной интерпретируется как среднее изменение зависимой переменной при переходе от одной категории к другой при неизменных значениях остальных параметров. Значимость влияния фиктивной переменной проверяется с помощью -критерия Стьюдента.

Пример 9.2. По 15 предприятиям отрасли (табл. 9.4) изучается зависимость затрат на выпуск продукции  (тыс. ден. ед.) от объема произведенной продукции  (тыс. ед.) и расходов на сырье  (тыс. ден. ед). Необходимо:

1) Построить уравнение множественной линейной регрессии.

2) Вычислить и интерпретировать:

• средние коэффициенты эластичности;

• парные коэффициенты корреляции, оценить их значимость на уровне 0,05;

• частные коэффициенты корреляции;

• коэффициент множественной корреляции, множественный коэффициент детерминации, скорректированный коэффициент детерминации.

3) Оценить надежность построенного уравнения регрессии и целесообразность включения фактора  после фактора  и  после 

Таблица 9.4

Решение:

1) В Excel составим вспомогательную таблицу рис. 9.23.

Рис. 9.23. Расчетная таблица многофакторной регрессии.

С помощью встроенных функций вычислим: =345,5; =13838,89; =8515,78; =219,315; =9,37; =6558,08.

Затем найдем коэффициенты множественной линейной регрессии и оформим вывод результатов как на рис. 9.24.

Рис.9.24. Решение задачи в MSExcel

Для вычисления значения коэффициента  используем формулы

Формулы для вычисления параметров заносим в ячейки Е20, Е21, Е22. Так длявычисления параметра b1 в Е20поместим формулу =(B20*B24-B21*B22)/(B23*B24-B22^2) и получим 29,83. Аналогично получаем значения =0,301 и Коэффициент =-31,25 (рис. 9.25.).

Рис. 9.25. Вычисление параметров уравнения множественной регрессии (в строке формул формула для расчета b2).

Уравнение множественной линейной регрессии примет вид:

=-31,25+29,83+0,301

Таким образом, при увеличении объема произведенной продукции  на 1 тыс. ед. затраты на выпуск этой продукции  в среднем увеличатся на 29,83 тыс. ден. ед., а при увеличении расходов на сырье  на 1 тыс. ден. ед. затраты увеличатся в среднем на 0,301 тыс. ден. ед.

2) Для вычисления средних коэффициентов эластичности воспользуемся формулой:  Вычисляем: =0,884 и =0,184. Т.е. увеличение только объема произведенной продукции (от своего среднего значения) или только расходов на сырье на 1% увеличивает в среднем затраты на выпуск продукции на 0,884% или 0,184% соответственно. Таким образом, фактор  оказывает большее влияние на результат, чем фактор 

Для вычисления парных коэффициентов корреляции воспользуемся функцией «КОРРЕЛ» рис. 9.26.

Рис. 9.26. Вычисление парных коэффициентов корреляции

Значения парных коэффициентов корреляции указывают на весьма тесную связь  с  и на тесную связь с  В то же время межфакторная связь очень сильная (=0,88>0,7), что говорит о том, что один из факторов является неинформативным, т.е. в модель необходимо включать или  или 

Значимость парных коэффициентов корреляции оценим с помощью -критерия Стьюдента. =2,1604 определяем с помощью встроенной статистической функции СТЬЮДРАСПОБР взяв =0,05 и =-2=13.

Фактическое значение -критерия Стьюдента для каждого парного коэффициента определим по формулам:   . Результат расчета представлен на рис. 9.27.

Рис. 9.27. Результат расчета фактических значений -критерия Стьюдента

Получим =12,278; =7,1896; =6,845.

Так как фактические значения -статистики превосходят табличные, то парные коэффициенты корреляции    не случайно отличаются от нуля, а статистически значимы.

Далее вычисляем частные коэффициенты корреляции по формулам:

Получим =0,81; =0,34; =0,21. Таким образом, фактор  оказывает более сильное влияние на результат, чем 

При сравнении значений коэффициентов парной и частной корреляции приходим к выводу, что из-за сильной межфакторной связи коэффициенты парной и частной корреляции отличаются довольно значительно.

Коэффициент множественной корреляции

.

Следовательно, зависимость  от  и  характеризуется как очень тесная, в которой =93% вариации затрат на выпуск продукции определяются вариацией учтенных в модели факторов: объема произведенной продукции и расходов на сырье. Прочие факторы, не включенные в модель, составляют соответственно 7% от общей вариации 

Скорректированный коэффициент множественной детерминации =0,9182 указывает на тесную связь между результатом и признаками.

Рис. 9.28. Результаты расчета частных коэффициентов корреляции и коэффициента множественной корреляции

3) Оценим надежность уравнения регрессии в целом с помощью -критерия Фишера. Вычислим . =3,8853 определяем взяв =0,05, =2, =15-2-1=12 помощью встроенной статистической функции FРАСПОБР с такими же параметрами.

Так как фактическое значение больше табличного, то с вероятностью 95% делаем заключение о статистической значимости уравнения множественной линейной регрессии в целом.

Оценим целесообразность включения фактора  после фактора  и  после  с помощью частного -критерия Фишера по формулам

; .

Для этого в ячейку B32 заносим формулу для расчета Fx1 «=(B28-H24^2)*(15-3)/(1-B28)», а в ячейку  B33 формулу для расчета Fx2 «=(B28-H23^2)*(15-3)/(1-B28)», результат вычисления Fx1=22,4127, Fx2=1,5958. Табличное значение критерия Фишера определим с помощью встроенной функции FРАСПОБР с параметрами =0,05, =1, =12 «=FРАСПОБР(0,05;1;12)», результат – =4,747. Так как =22,4127>=4,747, а =1,5958<=4,747, то включение фактора  в модель статистически оправдано и коэффициент чистой регрессии  статистически значим, а дополнительное включение фактора  после того, как уже введен фактор  нецелесообразно (рис. 9.29).

Рис. 9.29. Результаты расчета критерия Фишера

Низкое значение  (немногим больше 1) свидетельствует о статистической незначимости прироста  за счет включения в модель фактора  после фактора  Это означает, что парная регрессионная модель зависимости затрат на выпуск продукции от объема произведенной продукции является достаточно статистически значимой, надежной и что нет необходимости улучшать ее, включая дополнительный фактор  (расходы на сырье).

Сводные данные основных характеристик для одного или нескольких массивов данных можно получить с помощью инструмента анализа данных Описательная статистика. Порядок действий следующий:

1. Необходимо проверить доступ к Пакету анализа. Для этого в ленте выбираем вкладку «Данные», в ней раздел «Анализ» (рис. 9.30.).

Рис. 9.30.Вкладка данные диалоговое окно «Анализ данных»

2. В диалоговом окне «Анализ данных» выбрать Описательная статистика и нажать кнопку «ОК», в появившемся диалоговом окне заполните необходимые поля (рис. 9.31):

Рис. 9.31. Диалоговое окно ввода параметров инструмента 
«Описательная статистика»

Входной интервал – диапазон, содержащий данные результативного и объясняющих признаков;

Группирование – указать, как расположены данные (в столбцах или строках);

Метки – флажок, который указывает, содержит ли первая строка названия столбцов или нет;

Выходной интервал – достаточно указать левую верхнюю ячейку будущего диапазона;

Новый рабочий лист – можно задать произвольное имя нового листа, на который будут выведены результаты.

Для получения информации Итоговой статистики, Уровня надежности, -го наибольшего и наименьшего значений нужно установить соответствующие флажки в диалоговом окне.

Получаем следующую статистику (рис. 2.10):

Рис. 9.32. Результат применения инструмента «Описательная статистика»

Выборочные ковариации и дисперсии можно найти несколькими способами:

1 способ) Выборочные ковариации находятся с помощью статистической функции КОВАР(диапазон1;диапазон2), а выборочные дисперсии – с помощью ДИСПР(диапазон).

2 способ) Матрицу коэффициентов выборочных дисперсий и ковариаций можно получить с помощью инструмента анализа данных Ковариация. Для этого необходимо выбрать в диалоговом окне «Анализ данных» –Ковариацияи заполнить диалоговое окно (рис. 9.33):

Рис. 9.33. Диалоговое окно ввода параметров инструмента Ковариация

В результате получаем следующие данные (рис. 9.34):

Рис. 9.34. Результат применения инструмента Ковариация

Из рис. 2.12 видно, что выборочная ковариация между  и  равна 359,3262; между  и  – 566,0672; между  и  – 13952,25. Выборочная дисперсия  равна 15,35115;  – 10744,76;  – 22673,64.

Для проверки наличия коллинеарности или мультиколлинеарности и отбора факторов с помощью инструмента анализа данных Корреляция можно получить матрицу парных коэффициентов корреляции. Для этого необходимо выбрать в диалоговом окне «Анализ данных» –Корреляция и заполнить диалоговое окно (рис. 9.35):

Рис. 9.35. Диалоговое окно ввода параметров инструмента Корреляция

Получаем следующую матрицу коэффициентов парной корреляции (рис. 9.36), которые совпадают с вычисленными ранее.

Рис. 9.36. Матрица коэффициентов парной корреляции

Между факторами наблюдается мультиколлинеарность, так как значения всех коэффициентов корреляции больше 0,7.

Для вычисления параметров линейного уравнения множественной регрессии также как при вычислении параметров линейного уравнения парной регрессии используется инструмент анализа данных Регрессия, только во входном интервале Х следует указать не один столбец, а все столбцы, содержащие значения факторных признаков (рис. 9.37).

Рис. 9.37. Диалоговое окно ввода параметров инструмента Регрессия

Результаты анализа представлены на рис. 9.38.

Рис. 9.38. Результат применения инструмента Регрессия

Следовательно, множественный коэффициент корреляции равен 0,96; множественный коэффициент детерминации 0,93; скорректированный коэффициент детерминации 0,918. На уровне значимости 0,05 фактическое значение -критерия Фишера 79,62. Уравнение множественной линейной регрессии имеет вид: 

Из рис. 2.16, на котором получены графики остатков  и  видим, что расположение остатков не имеет направленности. Следовательно, они независимы от значений  значит построенная модель адекватна.

Пример 9.3. По данным табл. 9.1 проверить наличие гетероскедастичности остатков.

Решение:

1 способ) графический. В примере 9.1 было получено уравнение парной линейной регрессии ; вычислены теоретические значения  и остатки  Эти результаты можно получить намного проще, используя регрессионный анализ. Для этого в диалоговом окне ввода параметров инструмента Регрессия нужно поставить флажок напротив «Остатки» и в Excel дополнительно будет выведены сведения, как на рис. 9.39.

Рис. 9.39. Результат применения инструмента Регрессия (вывод остатка)

Предсказанное  – это теоретические значения 

Таким образом, во вспомогательных таблицах можно не рассчитывать столбцы  и  а использовать результаты регрессионного анализа.

По данным рис. 9.39 построим график остатков (рис. 9.40). Остаточные величины  не обнаруживают тенденцию по мере увеличения  и  Следовательно, есть равенство дисперсий остаточных величин, т.е. не наблюдается гетероскедастичности остатков.

Рис. 9.40. График остатков

2 способ) теоретический. Для применения теста Гольдфельда-Квандта упорядочим данные по фактору  Исключим из рассмотрения  центральных наблюдений. Разделим оставшуюся совокупность из 15-5=10 наблюдений на две группы (по 5) и определим по каждой из групп уравнение регрессии (рис. 9.41).

Рис. 9.41. Исключение центральных наблюдений и определение крайних групп

Для получения коэффициентов уравнений используем результаты регрессионного анализа (вкладка «Данные», группа «Анализ» – Регрессия и установить флажок напротив «Остатки» рис. 9.42.).

Рис. 9.42. результат работы надстройки «Регрессия» для второй группы

Результаты расчетов сведем в табл. 9.5 , вычислив  и суммы по каждой группе.

Таблица 9.5

Величина   =9,28 при 5%-ном уровне значимости и числе степеней свободы ==(15-5-2·2):2=3.

Так как  то гетероскедастичность остатков отсутствует.