Учебник по промышленной статистике


Нелинейное оценивание - часть 13



Функция потерь.

Функция потерь.

В стандартной множественной регрессии оценивание коэффициентов регрессии происходит “подбором” коэффициентов, минимизирующих дисперсию остатков (сумму квадратов остатков). Любые отклонения наблюдаемых величин от предсказанных означают некоторые потери в точности предсказаний, например, из-за случайного шума (ошибок). Поэтому можно сказать, что цель метода наименьших квадратов заключается в минимизации функции потерь. В этом случае, функция потерь определяется как сумма квадратов отклонений от предсказанных значений (термин функция потерь был впервые использован в работе Вальда - Wald, 1939). Когда эта функция достигает минимума, вы получаете те же оценки для параметров (свободного члена, коэффициентов регрессии), как, если бы мы использовали Множественную регрессию. Полученные оценки называются оценками по методу наименьших квадратов.

Продолжая в том же духе, можно рассмотреть другие функции потерь. Например, при минимизации функции потерь, почему бы вместо суммы квадратов отклонений не рассмотреть сумму модулей отклонений? В самом деле, иногда это бывает полезно для уменьшения влияния выбросов. Влияние, оказываемое крупными остатками на всю сумму, существенно увеличивается при их возведении в квадрат. Однако если вместо суммы квадратов взять сумму модулей выбросов, влияние остатков на результирующую регрессионную кривую существенно уменьшится.

Существуют несколько методов, которые могут быть использованы для минимизации различных видов функций потерь. Для получения дополнительной информации смотрите:

  • Метод наименьших квадратов
  • Функция потерь
  • Метод взвешенных наименьших квадратов
  • Метод максимума правдоподобия
  • Максимум правдоподобия и логит/пробит модели
  • Алгоритмы минимизации функций
  • Начальные значения, размеры шагов и критерий сходимости
  • Штрафные функции, ограничение параметров
  • Локальные минимумы
  • Квази-ньютоновский метод
  • Симплекс-метод
  • Метод Хука-Дживиса
  • Метод Розенброка
  • Матрица Гессе и стандартные ошибки
Метод взвешенных наименьших квадратов.



Начало  Назад  Вперед



Книжный магазин