Распределение случайной величины (распределение генеральной совокупности) характеризуется обычно рядом числовых характеристик:

для нормального распределения N(a, σ) - это математическое ожидание a и среднее квадратическое отклонение σ ;
для равномерного распределения R(a,b) - это границы интервала , в котором наблюдаются значения этой случайной величины.

Такие числовые характеристики, как правило, неизвестные, называются параметрами генеральной совокупности . Оценка параметра - соответствующая числовая характеристика, рассчитанная по выборке. Оценки параметров генеральной совокупности делятся на два класса: точечные и интервальные .

Когда оценка определяется одним числом, она называется точечной оценкой . Точечная оценка, как функция от выборки, является случайной величиной и меняется от выборки к выборке при повторном эксперименте.
К точечным оценкам предъявляют требования, которым они должны удовлетворять, чтобы хоть в каком-то смысле быть «доброкачественными». Это несмещённость , эффективность и состоятельность .

Интервальные оценки определяются двумя числами – концами интервала, который накрывает оцениваемый параметр. В отличие от точечных оценок, которые не дают представления о том, как далеко от них может находиться оцениваемый параметр, интервальные оценки позволяют установить точность и надёжность оценок.

В качестве точечных оценок математического ожидания, дисперсии и среднего квадратического отклонения используют выборочные характеристики соответственно выборочное среднее, выборочная дисперсия и выборочное среднее квадратическое отклонение.

Свойство несмещенности оценки .
Желательным требованием к оценке является отсутствие систематической ошибки, т.е. при многократном использовании вместо параметра θ его оценки среднее значение ошибки приближения равно нулю - это свойство несмещенности оценки .

Определение . Оценка называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:

Выборочное среднее арифметическое является несмещенной оценкой математического ожидания, а выборочная дисперсия - смещенная оценка генеральной дисперсии D . Несмещенной оценкой генеральной дисперсии является оценка

Свойство состоятельности оценки .
Второе требование к оценке - ее состоятельность - означает улучшение оценки с увеличением объема выборки.

Определение . Оценка называется состоятельной , если она сходится по вероятности к оцениваемому параметру θ при n→∞.

Сходимость по вероятности означает, что при большом объеме выборки вероятность больших отклонений оценки от истинного значения мала.

Свойство эффективной оценки .
Третье требование позволяет выбрать лучшую оценку из нескольких оценок одного и того же параметра.

Определение . Несмещенная оценка является эффективной , если она имеет наименьшую среди всех несмещенных оценок дисперсию.

Это означает, что эффективная оценка обладает минимальным рассеиванием относительно истинного значения параметра. Заметим, что эффективная оценка существует не всегда, но из двух оценок обычно можно выбрать более эффективную, т.е. с меньшей дисперсией. Например, для неизвестного параметра a нормальной генеральной совокупности N(a,σ) в качестве несмещенной оценки можно взять и выборочное среднее арифметическое, и выборочную медиану. Но дисперсия выборочной медианы примерно в 1.6 раза больше, чем дисперсия среднего арифметического. Поэтому более эффективной оценкой является выборочное среднее арифметическое.

Пример №1 . Найдите несмещенную оценку дисперсии измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 13,15,17.
Решение. Таблица для расчета показателей.

x	\|x - x ср \|	(x - x ср) 2
13	2	4
15	0	0
17	2	4
45	4	8

Простая средняя арифметическая (несмещенная оценка математического ожидания)

Дисперсия - характеризует меру разброса около ее среднего значения (мера рассеивания, т.е. отклонения от среднего - смещенная оценка).

Несмещенная оценка дисперсии - состоятельная оценка дисперсии (исправленная дисперсия).

Пример №2 . Найдите несмещенную оценку математического ожидания измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 4,5,8,9,11.
Решение. m = (4+5+8+9+11)/5 = 7.4

Пример №3 . Найдите исправленную дисперсию S 2 для выборки объема n=10, если выборочная диспресия равна D = 180.
Решение. S 2 = n*D/(n-1) = 10*180/(10-1) = 200

Пусть texvc не найден; См. math/README - справку по настройке.): X_1,\ldots, X_n,\ldots - выборка для распределения , зависящего от параметра Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \theta \in \Theta . Тогда оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} \equiv \hat{\theta}(X_1,\ldots,X_n) называется состоятельной, если

Невозможно разобрать выражение (Выполняемый файл texvc по вероятности при Невозможно разобрать выражение (Выполняемый файл texvc .

В противном случае оценка называется несостоятельной.

Оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} называется си́льно состоя́тельной , если

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} \to \theta,\quad \forall \theta\in \Theta почти наверное при Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): n \to \infty .

На практике «увидеть» сходимость «почти наверное» не представляется возможным, поскольку выборки конечны. Таким образом, для прикладной статистики достаточно требовать состоятельности оценки. Более того, оценки, которые были бы состоятельными, но не сильно состоятельными, «в жизни» встречаются очень редко. Закон больших чисел для одинаково распределённых и независимых величин с конечным первым моментом выполнен и в усиленном варианте, всякие крайние порядковые статистики тоже сходятся в силу монотонности не только по вероятности, но и почти наверное.

Признак

Если оценка сходится к истинному значению параметра "в среднем квадратичном" или если оценка асимптотически несмещенная и её дисперсия стремится к нулю, то такая оценка будет состоятельной.

Свойства

Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.
Поскольку дисперсия состоятельных оценок стремится к нулю, часто со скоростью порядка 1/n, то состоятельные оценки сравниваются между собой асимптотической дисперсией случайной величины Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \sqrt {n} (\hat{\theta}-\theta) (асимптотическое математическое ожидание этой величины равно нулю).

Связанные понятия

Оценка называется суперсостоятельной , если дисперсия случайной величины Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): n (\hat{\theta}-\theta) стремится к конечной величине. То есть скорость сходимости оценки к истинному значению существенно выше чем у состоятельной оценки. Суперсостоятельными, например, оказываются оценки параметров регрессии коинтегрированных временных рядов.

Примеры

Выборочное среднее Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i является сильно состоятельной оценкой математического ожидания Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): X_i .
Периодограмма является несмещённой , но несостоятельной оценкой спектральной плотности .

См. также

Напишите отзыв о статье "Состоятельная оценка"

Отрывок, характеризующий Состоятельная оценка

Искренний, глубоко-печальный рассказ Изидоры омертвил болью наши детские сердца, даже не давая время очнуться... Казалось, не было предела бесчеловечным мукам, причиняемым чёрствыми душами уродливых палачей этой удивительной и мужественной женщине!.. Мне было искренне боязно и тревожно, только лишь думая о том, что же ждало нас по окончании её потрясающего рассказа!..
Я посмотрела на Стеллу – моя воинственная подружка испуганно жалась к Анне, не сводя с Изидоры потрясённо- округлившихся глаз... Видимо, даже её – такую храбрую и не сдающуюся – ошеломила людская жестокость.
Да, наверняка, мы со Стеллой видели больше, чем другие дети в свои 5-10 лет. Мы уже знали, что такое потеря, знали, что означает боль... Но нам ещё предстояло очень многое пережить, чтобы понять хоть малую часть того, что чувствовала сейчас Изидора!.. И я лишь надеялась, что мне никогда не придётся такого на себе по-настоящему испытать...
Я зачарованно смотрела на эту прекрасную, смелую, удивительно одарённую женщину, не в силах скрыть навернувшихся на глаза горестных слёз... Как же «люди» смели зваться ЛЮДЬМИ, творя с ней такое?!. Как Земля вообще терпела такую преступную мерзость, разрешая топтать себя, не разверзнув при этом своих глубин?!.
Изидора всё ещё находилась от нас далеко, в своих глубоко-ранящих воспоминаниях, и мне честно совсем не хотелось, чтобы она продолжала рассказывать дальше... Её история терзала мою детскую душу, заставляя сто раз умирать от возмущения и боли. Я не была к этому готова. Не знала, как защититься от такого зверства... И казалось, если сейчас же не прекратится вся эта раздирающая сердце повесть – я просто умру, не дождавшись её конца. Это было слишком жестоко и не поддавалось моему нормальному детскому пониманию...
Но Изидора, как ни в чём не бывало, продолжала рассказывать дальше, и нам ничего не оставалось, как только окунутся с ней снова в её исковерканную, но такую высокую и чистую, не дожитую земную ЖИЗНЬ...
Проснулась я на следующее утро очень поздно. Видимо тот покой, что подарил мне своим прикосновением Север, согрел моё истерзанное сердце, позволяя чуточку расслабиться, чтобы новый день я могла встретить с гордо поднятой головой, что бы этот день мне ни принёс... Анна всё ещё не отвечала – видимо Караффа твёрдо решил не позволять нам общаться, пока я не сломаюсь, или пока у него не появится в этом какая-то большая нужда.
Изолированная от моей милой девочки, но, зная, что она находится рядом, я пыталась придумать разные-преразные способы общения с ней, хотя в душе прекрасно знала – ничего не удастся найти. Караффа имел свой надёжный план, который не собирался менять, согласуя с моим желанием. Скорее уж наоборот – чем больше мне хотелось увидеть Анну, тем дольше он собирался её держать взаперти, не разрешая встречу. Анна изменилась, став очень уверенной и сильной, что меня чуточку пугало, так как, зная её упёртый отцовский характер, я могла только представить, как далеко она могла в своём упорстве пойти... Мне так хотелось, чтобы она жила!.. Чтобы палач Караффы не посягал на её хрупкую, не успевшую даже полностью распуститься, жизнь!.. Чтобы у моей девочки всё ещё было только впереди...

Какая оценка параметра называется состоятельной, несмещенной, эффективной?

1) Состоятельная оценка

Состоятельная оценка в математической статистике -- это точечная оценка, сходящаяся по вероятности к оцениваемому параметру.

Определения

· Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется состоятельной, если

по вероятности при.

В противном случае оценка называется несостоятельной.

· Оценка называется сильно состоятельной, если

почти наверное при.

Свойства

· Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.

· Выборочное среднее является состоятельной оценкой математического ожидания X i .
· Периодограмма является несмещённой, но несостоятельной оценкой спектральной плотности.
2) Несмещённая оценка

Несмещённая оценка в математической статистике -- это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

Определение

Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется несмещённой, если

В противном случае оценка называется смещённой, и случайная величина называется её смещением.

· Выборочное среднее

является несмещённой оценкой математического ожидания X i , так как если

· Пусть случайные величины X i имеют конечную дисперсию DX i = ? 2 . Построим оценки

Выборочная дисперсия,

Исправленная выборочная дисперсия.

Тогда является смещённой, а S 2 несмещённой оценками параметра? 2 .

3) Эффективная оценка

Текущая версия (не проверялась)

Определение

Оценка параметра называется эффективной оценкой в классе, если для любой другой оценки выполняется неравенство для любого.

Особую роль в математической статистике играют несмещенные оценки. Если несмещенная оценка является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной.

Эффективная оценка в классе, где -- некоторая функция, существует и единственна с точностью до значений на множестве, вероятность попасть в которое равна нулю ().

Оценка параметра называется эффективной, если для неё неравенство Крамера -- Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

В математической статистике неравенством Крамемра -- Рамо (в честь Гаральда Крамера и К.Р. Рао) называется неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

К оцениваемому параметру.

Определения

Пусть $X_1,\ldots, X_n,\ldots$ - выборка для распределения , зависящего от параметра $\theta \in \Theta$ . Тогда оценка $\hat{\theta} \equiv \hat{\theta}(X_1,\ldots,X_n)$ называется состоятельной, если

по вероятности при

n \to \infty

В противном случае оценка называется несостоятельной.

Оценка $\hat{\theta}$ называется си́льно состоя́тельной , если

\hat{\theta} \to \theta,\quad \forall \theta\in \Theta

почти наверное при

n \to \infty

Признак

Если оценка сходится к истинному значению параметра "в среднем квадратичном" или если оценка асимптотически несмещенная и её дисперсия стремится к нулю, то такая оценка будет состоятельной.

Свойства

Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.
Поскольку дисперсия состоятельных оценок стремится к нулю, часто со скоростью порядка 1/n, то состоятельные оценки сравниваются между собой асимптотической дисперсией случайной величины $\sqrt {n} (\hat{\theta}-\theta)$ (асимптотическое математическое ожидание этой величины равно нулю).

Связанные понятия

Оценка называется суперсостоятельной , если дисперсия случайной величины $n (\hat{\theta}-\theta)$ стремится к конечной величине. То есть скорость сходимости оценки к истинному значению существенно выше чем у состоятельной оценки. Суперсостоятельными, например, оказываются оценки параметров регрессии коинтегрированных временных рядов.

Примеры

Выборочное среднее $\bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i$ является сильно состоятельной оценкой математического ожидания $X_i$ .
Периодограмма является несмещённой , но несостоятельной оценкой спектральной плотности .

См. также

Напишите отзыв о статье "Состоятельная оценка"

Отрывок, характеризующий Состоятельная оценка

– О, господи помилуй, – прибавил опять дьякон.
– Вы пройдите вот туда то, они там. Она и есть. Все убивалась, плакала, – сказала опять баба. – Она и есть. Вот сюда то.
Но Пьер не слушал бабу. Он уже несколько секунд, не спуская глаз, смотрел на то, что делалось в нескольких шагах от него. Он смотрел на армянское семейство и двух французских солдат, подошедших к армянам. Один из этих солдат, маленький вертлявый человечек, был одет в синюю шинель, подпоясанную веревкой. На голове его был колпак, и ноги были босые. Другой, который особенно поразил Пьера, был длинный, сутуловатый, белокурый, худой человек с медлительными движениями и идиотическим выражением лица. Этот был одет в фризовый капот, в синие штаны и большие рваные ботфорты. Маленький француз, без сапог, в синей шипели, подойдя к армянам, тотчас же, сказав что то, взялся за ноги старика, и старик тотчас же поспешно стал снимать сапоги. Другой, в капоте, остановился против красавицы армянки и молча, неподвижно, держа руки в карманах, смотрел на нее.
– Возьми, возьми ребенка, – проговорил Пьер, подавая девочку и повелительно и поспешно обращаясь к бабе. – Ты отдай им, отдай! – закричал он почти на бабу, сажая закричавшую девочку на землю, и опять оглянулся на французов и на армянское семейство. Старик уже сидел босой. Маленький француз снял с него последний сапог и похлопывал сапогами один о другой. Старик, всхлипывая, говорил что то, но Пьер только мельком видел это; все внимание его было обращено на француза в капоте, который в это время, медлительно раскачиваясь, подвинулся к молодой женщине и, вынув руки из карманов, взялся за ее шею.
Красавица армянка продолжала сидеть в том же неподвижном положении, с опущенными длинными ресницами, и как будто не видала и не чувствовала того, что делал с нею солдат.
Пока Пьер пробежал те несколько шагов, которые отделяли его от французов, длинный мародер в капоте уж рвал с шеи армянки ожерелье, которое было на ней, и молодая женщина, хватаясь руками за шею, кричала пронзительным голосом.
– Laissez cette femme! [Оставьте эту женщину!] – бешеным голосом прохрипел Пьер, схватывая длинного, сутоловатого солдата за плечи и отбрасывая его. Солдат упал, приподнялся и побежал прочь. Но товарищ его, бросив сапоги, вынул тесак и грозно надвинулся на Пьера.
– Voyons, pas de betises! [Ну, ну! Не дури!] – крикнул он.
Пьер был в том восторге бешенства, в котором он ничего не помнил и в котором силы его удесятерялись. Он бросился на босого француза и, прежде чем тот успел вынуть свой тесак, уже сбил его с ног и молотил по нем кулаками. Послышался одобрительный крик окружавшей толпы, в то же время из за угла показался конный разъезд французских уланов. Уланы рысью подъехали к Пьеру и французу и окружили их. Пьер ничего не помнил из того, что было дальше. Он помнил, что он бил кого то, его били и что под конец он почувствовал, что руки его связаны, что толпа французских солдат стоит вокруг него и обыскивает его платье.

Выборочные характеристики. Состоятельные,

В начале курса были рассмотрены такие понятия как классическая и статистическая вероятности.

Если классическая вероятность - это теоретическая характеристика, которую можно определить, не прибегая к опыту, то статистическая вероятность может быть определена только по результатам эксперимента. При большем числе опытов величина W(A) может служить оценкой для вероятности P(A). Достаточно вспомнить классические опыты Бюффона и Пирсона. Подобные аналогии можно продолжить и далее. Например, для теоретической характеристики М(x) таковой аналогией будет - среднее арифметическое:

= i f i / n ,

для дисперсии D(x) эмпирическим аналогом будет статистическая дисперсия:

S 2 (x) = (x i - ) 2 f i / n .

Эмпирические характеристики , S 2 (x) , W(A) являются оценками параметров М(x) , D(x) , P(A) . В тех случаях, когда эмпирические характеристики определяются на основе большого числа опытов, использование их в качестве теоретических параметров не приведет к существенным ошибкам в исследовании, однако в тех случаях, когда число опытов ограничено, ошибка при замене будет существенна. Поэтому к эмпирическим характеристикам, являющимися оценками теоретических параметров предъявляются 3 требования:

оценки должны быть состоятельными, несмещенными и эффективными.

Оценка называется состоятельной, если вероятность отклонения ее от оцениваемого параметра на величину меньшую как угодно малого положительного числа стремится к единице при неограниченном увеличении числа наблюдений n , т.е.

P(| - | < ) = 1

где - некоторый параметр генеральной совокупности,

/ - оценка этого параметра. Большинство оценок различных числовых параметров отвечают этим требованиям. Однако одного этого требования бывает недостаточно. Необходимо, чтобы они еще были и несмещенными.

Оценка называется несмещенной, если математическое ожидание этой оценки равно оцениваемому параметру:

М ( / ) = .

Примером состоятельной и несмещенной оценки систематического ожидания является средняя арифметическая:

М () = .

Примером состоятельной и смещенной оценки является

дисперсия:

М (S 2 (x) ) = [ (n – 1)/ n] D(x).

Поэтому, чтобы получить несмещенную оценку теоретической дисперсии D(x) надо эмпирическую дисперсию S 2 (x) умножить на n/(n – 1) , т.е.

S 2 (x) = (x i - ) 2 f i / n n /(n – 1) = (x i - ) 2 f i /(n – 1) .

Практически эту поправку вносят при вычислении оценки дисперсии в тех случаях, когда n < 30 .

Состоятельных несмещенных оценок может быть несколько. Например, для оценки центра рассеивания нормального распределения наряду со средней арифметической , может быть взята медиана . Медиана так же, как и является несмещенной состоятельной оценкой центра группирования. Из двух состоятельных несмещенных оценок для одного и того же параметра естественно отдать предпочтение той, у которой дисперсия меньше.

Такая оценка, у которой дисперсия будет наименьшей относительно оцениваемого параметра, называется эффективной . Например, из двух оценок центра рассеивания нормального распределения М(x) эффективной оценкой является , а не , так как дисперсия меньше дисперсии . Сравнительная эффективность этих оценок при большой выборке приближенно равна: D() / D= 2/ = 0,6366.

Практически это означает, что центр распределения генеральной совокупности (назовем его 0) определяется по с той же точностью при n наблюдениях, как и при 0,6366 n наблюдениях по средней арифметической .

4.4. Свойства выборочных средних и дисперсий.

1. Если объем выборки достаточно велик, то на основе закона больших чисел с вероятностью близкой к единице, можно утверждать, что средняя арифметическая и дисперсия S 2 будут как угодно мало отличаться от М(x) и D(x ), т.е.

М(x) , S 2 (x) D(x ), и дисперсией D() , каков бы не был объем выборок n, лишь бы число выборок было достаточно велико.

4. Когда дисперсия D(x ), генеральной совокупности неизвестна, тогда для больших значений n с большей вероятностью малой ошибки можно дисперсию выборочных средних вычислить приближенно по равенству:

D() = S 2 (x) / n,

где S 2 (x) = (x i - ) 2 f i / n - дисперсия большой выборки.