Estymator obciążony

Estymator obciążony
Polecane artykuły
Przedział ufności Estymator nieobciążony Regresja liniowa Współczynnik korelacji rang Spearmana Metody statystyczne Test zgodności chi-kwadrat Wariancja Test Shapiro-Wilka Estymacja

Estymator jest oceną parametru populacji. Jeżeli parametr populacji generalnej oznaczymy przez Q, przez $Z_{n}$ - funkcję (estymator) wartości zmiennych uzyskanych na podstawie próby:

$Z_{n}=f\left(X_{1},X_{2},X_{3}....X_{n}\right)$,

to konkretna wartość T, jaką zmienna będzie przyjmować, nazywamy oceną punktową parametru Q- czyli wartość estymatora.

Estymator nazywamy obciążonym, jeżeli jego wartość oczekiwana nie jest równa faktycznej wartości parametru populacji generalnej, tj:

$E(Z_{n})\neq Q$
a wyrażenie

$b(Z_{n})=E(Z_{n})-Q$

nazywamy obciążeniem estymatora.(M.Sobczyk, 2005)

Tak więc z estymatorem obciążonym mamy do czynienia jeżeli pomiędzy średnią wartością estymatora a wartością parametru występuje różnica.
Im większa jest ta różnica, tym parametr populacji oszacowany jest z większym błędem systematycznym, nielosowym. Jedynie estymator nieobciążony
pozwala przyjmować założenie, że suma błędów popełnionych przy wielokrotnym (teoretycznie nieskończonym) powtarzaniu szacunku parametru
populacji na podstawie próby jest równa zeru. (Jeżeli $b(Z_{n})$ > 0 to estymator obciążony daje oceny przeciętnie zawyżone w stosunku do szacowanego parametru,
natomiast jeżeli b (Zn) < 0 to estymator obciążony daje oceny przeciętnie zaniżone w stosunku do szacowanego parametru).

TL;DR

Estymator jest oceną parametru populacji. Estymator jest obciążony, jeśli wartość oczekiwana różni się od wartości parametru. Różnica między średnią wartością estymatora a wartością parametru mówi o błędzie systematycznym. Estymator nieobciążony zakłada, że suma błędów przy wielokrotnym szacowaniu parametru jest równa zeru. Przykładem estymatora obciążonego jest estymator wariancji. W przypadku dużych prób estymator wariancji jest asymptotycznie nieobciążony. Estymatory podstawowych parametrów rozkładu jednej zmiennej to średnia arytmetyczna, częstość względna i wariancja.

Dowód na obciążenie estymatora

Nieobciążony estymator wariancji (znajoma jest nam wartość oczekiwana $m$):

$S^{2}={\frac {1}{n}}\sum _{k=1}^{n}\left(X_{k}-m\right)^{2}$ Obciążony estymator wariancji (nie wiemy jaka jest wartość oczekiwana $m$, więc zastępujemy ją estymatorem ${\bar {X}}$):

$S^{2}={\frac {1}{n}}\sum _{k=1}^{n}\left(X_{k}-{\bar {X}}\right)^{2}$

Rozwijając równanie otrzymujemy:
$S^{2}={\frac {1}{n}}\sum _{k=1}^{n}\left(X_{k}-{\bar {X}}+m-m\right)^{2}=$
$={\frac {1}{n}}\sum _{k=1}^{n}\left((X_{k}-m)-({\bar {X}}-m)\right)^{2}=$
$={\frac {1}{n}}\sum _{k=1}^{n}\left((X_{k}-m)^{2}+({\bar {X}}-m)^{2}-2(X_{k}-m)({\bar {X}}-m)\right)=$
$={\frac {1}{n}}\sum _{k=1}^{n}\left(X_{k}-m)^{2}+{\frac {1}{n}}n({\bar {X}}-m)^{2}-2({\bar {X}}-m){\frac {1}{n}}\sum _{k=1}^{n}(X_{k}-m\right)=$
$=S^{2}+({\bar {X}}-m)^{2}-2({\bar {X}}-m)({\frac {1}{n}}\sum _{k=1}^{n}X_{k}-{\frac {1}{n}}nm)$=
$=S^{2}+({\bar {X}}-m)^{2}-2(({\bar {X}}-m)({\bar {X}}-m)$=
$=S^{2}-({\bar {X}}-m)^{2}$
Aby dowiedzieć się, że powyższy estymator jest obciążony musimy zbadać wartość oczekiwaną: $E(S^{2})=E(S^{2}-({\bar {X}}-m)^{2})$
Można zapisać: $E(S^{2})=E(S^{2})-E(({\bar {X}}-m)^{2})$
gdzie $E(S^{2})=\sigma ^{2}$ to wartość nieobciążonego estymatora wariancji

W celu rozwinięcia wprowadzamy zmienną losową $Y$: $Y={\frac {1}{n}}\sum _{k=1}^{n}X_{k}$
Zakładamy, że ciąg $X_{k}$ jest ciągiem zmiennych losowych niezależnych o jednakowym rozkładzie i parametrach $m$ oraz $\sigma ^{2}$. Założenie to jest prawdziwe, ponieważ ciąg $X_{k}$ jest realizacją próby $(X1,X2,...,Xn)$ Wartość oczekiwania zmiennej losowej $Y$: $E(Y)=E({\frac {1}{n}}\sum _{k=1}^{n}X_{k})$
Na podstawie własności wartości oczekiwanej można powyższe równanie rozwiązać w następujący sposób:
$E(Y)=E({\frac {1}{n}}\sum _{k=1}^{n}X_{k})=$
$={\frac {1}{n}}E(\sum _{k=1}^{n}X_{k})=$
$={\frac {1}{n}}\sum _{k=1}^{n}E(X_{k})=$
$={\frac {1}{n}}nm=m$

Wariancja losowej $Y$: $D^{2}(Y)=D^{2}({\frac {1}{n}}\sum _{k=1}^{n}X_{k})$
Rozwijając to równanie otrzymujemy:
$D^{2}(Y)=D^{2}({\frac {1}{n}}\sum _{k=1}^{n}X_{k})=$
$={\frac {1}{n^{2}}}D^{2}(\sum _{k=1}^{n}X_{k})=$
$={\frac {1}{n^{2}}}\sum _{k=1}^{n}D^{2}(X_{k})=$
$={\frac {1}{n^{2}}}n\sigma ^{2}={\frac {\sigma ^{2}}{n}}$

Z powyższych równań można wywnioskować: $E(({\bar {X}}-m)^{2})=E((Y-m)^{2})=D^{2}(Y)={\frac {\sigma ^{2}}{n}}$

Podstawiając równania:
$E(S^{2})=\sigma ^{2}$ oraz $E(({\bar {X}}-m)^{2})={\frac {\sigma ^{2}}{n}}$ do $E(S^{2})=E(S^{2})-E(({\bar {X}}-m)^{2})$
Otrzymujemy: $E(S^{2})=\sigma ^{2}-({\frac {\sigma ^{2}}{n}})$ Co pokazuje że wartość oczekiwana obciążonego estymatora jest różna od prawdziwej wartości wariancji: $E(S^{2})\neq \sigma ^{2}$ c.n.d (M. Bodjański, 2008)

Przykład

Dla dowolnego rozkładu populacji z wariancją $\sigma ^{2}$ oraz średnią m., niech statystyki: $S^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\bar {X}}\right)^{2}$

będą estymatorami wariancji $\sigma ^{2}$ w n-elementowej próbie. Można wykazać, że

$E\left(S^{2}\right)=\sigma ^{2}{\frac {n-1}{n}}$

oraz

$E\left({\bar {S^{2}}}\right)=\sigma ^{2}.$

Oznacza to, że statystyka ${\bar {S^{2}}}$ jest estymatorem nieobciążonym wariancji, natomiast statystyka $S^{2}$ - estymatorem obciążonym wariancji.

Obciążenie estymatora $S^{2}$ wynosi

$b_{n}=E\left(S^{2}\right)$ - $\sigma ^{2}=\sigma ^{2}{\frac {n-1}{n}}-\sigma ^{2}$ = $-\sigma ^{2}{\frac {1}{n}}$

Obciążenie to jest mniejsze od zera, co oznacza, że statystyka $S^{2}$ przeciętnie nie doszacowuje wartości $\sigma ^{2}$ populacji. Ponieważ:

$\lim _{n\rightarrow \infty }b_{n}=\lim _{n\rightarrow \infty }\left(-\sigma ^{2}{\frac {1}{n}}\right)=0$

to oznacza, że statystyka $S^{2}$ jest estymatorem asymptotycznie nieobciążonym (przy dużych próbach obciążenie to nie ma praktycznie znaczenia).

Estymatory podstawowych parametrów

Estymację parametrów rozkładu jednej zmiennej ograniczę do estymacji średniej arytmetycznej, częstości względnej (frakcji) oraz wariancji
populacji generalnej. Wyodrębnię estymację przedziałową tych parametrów w przypadkach dużej próby losowej (n>30) i małej próby losowej (n<30).

Estymatory wymienionych parametrów rozkładów jednej zmiennej są następujące:

1. Estymatorem średniej arytmetycznej populacji generalnej $E\left({\bar {x}}\right)=E(X)$ jest średnia arytmetyczna z próby losowej ${\bar {x}}$,

o rozkładzie normalnym Gaussa- Laplace`a, w przypadku dużej próby i o rozkładzie t Studenta, w przypadku małej próby

2. Estymatorem częstości względnej z populacji generalnej $E\left(w_{i}\right)=p_{i}$ jest częstosć względna (wskaźnik struktury) z próby losowej $w_{i}$

o rozkładzie normalnym Gaussa- Laplace`a w przypadku dużej próby i o rozkładzie dwumianowym Bernouliego- w przypadku małej próby.

3. Estymatorem odchylenia standardowego z populacji generalnej $E\left[S\left(x\right)\right]=\sigma (X)$ jest odchylenie standardowe z próby

losowej S (x) o rozkładzie normalnym Gaussa- Laplace`a w przypadku dużej próby, natomiast estymatorem wariancji z populacji generalnej $E\left[S\left(x\right)\right]=\sigma ^{2}(X)$
w przypadku małej próby jest wariancja z próby $S^{2}$(x) o rozkładzie chi-kwadrat.(M. Krzysztofiak, 1976)

Bibliografia

• Adrian A. (2014) Statystyka i Opracowanie Danych
• Błaszczyński J. (2018) Estymatory - Statystyka i analiza danych 2017/2018
• Bodjański M. (2008) Estymator wariancji - dowód na obciążenie, Problemy techniki uzbrojenia, s. 96
• Krzysztofiak M. (1976) Statystyka, PWE, Warszawa, s. 172
• Sobczyk M. (2005) Statystyka, PWN, Warszawa, s. 141

Autor: Nowacka Bernadeta, Kamil Niemiec