Тема 4. Методы нахождения оценок неизвестных параметров распределения

1. Метод моментов

2. Метод максимального правдоподобия

Метод моментов.

Пусть - случайная величина. Закон распределения задан плотностью ; - неизвестно.

Определение. Среднее значение функции (если интегрируема на ) относительно называется моментом порядка случайной величины с функцией распределения :

,

где - плотность распределения вероятностей.

Для дискретной случайной величины

,

- всегда существует,

- математическое ожидание случайной величины.

Определение. Центральным моментом порядка называется величина

, где ;

,

,

- дисперсия случайной величины.

Метод моментов состоит в следующем:

по выборке строят выборочные моменты

или центральные выборочные моменты

, где .

Затем определенное количество этих моментов приравнивают к соответствующим моментам или распределения , которые являются функциями неизвестных параметров (или параметра).

Рассматривая количество моментов, равное числу неизвестных параметров, подлежащих оценке, и решая полученную таким образом систему относительно этих параметров, мы получим соответствующие оценки.

Пример 1. Пусть необходимо оценить неизвестную вероятность события .

С событием можно связать случайную величину следующего вида

	1	0

(1)

т. е. =1, когда событие наступает и =0 в противном случае.

Таким образом, имеем распределение (2.4.1) с неизвестным параметров .

Пусть имеем выборку , т. е. проводим раз эксперимент , при котором событие наступает или нет.

По выборке строим

.

Из распределения (1) находим .

Приравниваем . Таким образом, оценкой для будет

(статистическое определение вероятности)

Метод максимального правдоподобия.

Пусть - случайная величина, закон распределения которой задан плотностью ; - неизвестный параметр.

Функция

(2)

является при фиксированном плотностью вероятности выборки ; при фиксированной выборке ее можно рассматривать, как функцию параметра . В последнем случае будем называть (2) функцией правдоподобия.

Суть метода максимального правдоподобия состоит в том, что в качестве оценки параметра берется такое значение , при котором достигает наибольшего возможного значения. Так как достигает максимума при том же значении , что и сама , то на практике часто удобнее использовать функцию , которую можно называть логарифмической функцией правдоподобия.

Значение является функцией выборки и называется оценкой максимального правдоподобия.

Для нахождения оценки максимального правдоподобия решается относительно уравнение

. (3)

Для случая нескольких неизвестных параметров или выборки из многомерного распределения метод максимального правдоподобия формулируется как и выше.

Так, например, для непрерывного распределения с двумя неизвестными параметрами и функций правдоподобия будет

_.

Оценки максимального правдоподобия для и получаются из решения системы уравнений

_{, ,}

где

_.

Дискретный случай

			…
			…
			…

,
- зависят от неизвестного параметра .

Функция правдоподобия имеет вид

,

где - частота значений в выборке , при этом , - называются вариантами.

Пример 2. Для выборки в значений из нормального распределения с неизвестными параметрами и :

_.

Логарифмическая функция правдоподобия

_.

Метод максимального правдоподобия приводит к уравнениям:

_,

.

Откуда получаем оценки максимального правдоподобия

и .

Пример 3. Найдем оценку неизвестной вероятности события из условия примера 1 методом максимального правдоподобия.

Функция правдоподобия в этом случае при , и , имеет вид:

_,

_.

_{Составим уравнение правдоподобия:}

.

Решением этого уравнения является оценка для неизвестной вероятности .

_.