Учебник по промышленной статистике


Нелинейное оценивание - часть 16


Если предположение о постоянстве дисперсии ошибки при всех значения независимой переменной нарушено, то оценки по методу максимума правдоподобия можно получить используя метод взвешенных наименьших квадратов.

Максимум правдоподобия и пробит/логит модели.

Максимум правдоподобия и пробит/логит модели.

Рассмотрим функцию правдоподобия для регрессионных моделей логит и пробит. Функция потерь для этих моделей вычисляется как сумма натуральных логарифмов логит или пробит правдоподобия L1:

log(L1) =

in= 1 [yi*log(pi ) + (1-yi )*log(1-pi )]

где
log(L1) натуральный логарифм функции правдоподобия для выбранной (логит или пробит) модели
yi - i-ое наблюдаемое значение
pi вероятность появления (предсказанная или подогнанная) (между 0 и 1)

Логарифм функции правдоподобия для нулевой модели (L0), т.е. модели, содержащей только свободный член (и не включающей других коэффициентов регрессии) вычисляется как:

log(L0) = n0*(log(n0/n)) + n1*(log(n1/n))

где
log(L0) натуральный логарифм функции правдоподобия для нулевой (логит или пробит) модели
n0 число наблюдений со значением 0
n1 число наблюдений со значением 1
n  общее число наблюдений

Алгоритмы минимизации функций

Алгоритмы минимизации функций

. Теперь, после обсуждения различных регрессионных моделей и функций потерь, используемых для их оценки, единственное, что осталось “в тайне”, это как находить минимумы функций потерь (т.е. наборы параметров, наилучшим образом соответствующие оцениваемой модели), и как вычислять стандартные ошибки оценивания параметров. Нелинейное оценивание использует очень эффективный (квази-ньютоновский) алгоритм, который приближенно вычисляет вторую производную функции потерь и использует ее при поиске минимума (т.е., при оценке параметров по соответствующей функции потерь). Кроме того, Нелинейное оценивание предлагает несколько более общих алгоритмов поиска минимума, использующих различные стратегии поиска (не связанные с вычислением вторых производных). Эти стратегии иногда более эффективны при оценивании функций потерь с локальными минимумами; поэтому, эти методы часто очень полезны для нахождения начальных значений с помощью квази-ньютоновского метода.

Во всех случаях, вы можете вычислить стандартные ошибки оценок параметров.


Начало  Назад  Вперед