Estymator nieobciążony

Estymator to wielkość wyznaczona na podstawie próby losowej, służąca do oceny wartości nieznanych parametrów populacji generalnej.
Estymatorem parametru Q rozkładu zmiennej losowej X nazywamy taką statystykę:

$Z_{n}=f(X_{1},X_{2},X_{3}....X_{n}),$

której rozkład prawdopodobieństwa zależy od szacowanego parametru Q. Konkretną wartość liczbową $Z_{n}$=f ($x_{1},x_{2},...,x_{n}$), jaką przyjmuje estymator $Z_{n}$ parametru Q dla realizacji próby ($x_{1},x_{2},....,x_{n}$), nazywamy oceną parametru Q. Ocena $Z_{n}$ jest zatem realizacją zmiennej losowej $X_{n}$

Szacując dany parametr, obok jego oceny, ważne jest, żeby optymalny parametr był przynajmniej:

• nieobciążony
• zgodny
• efektywny.

Estymator nazywamy nieobciążonym, jeżeli jego wartość oczekiwana jest równa faktycznej wartości parametru populacji generalnej, tj:

$E(Z_{n})=Q$

W przeciwnym wypadku estymator $Z_{n}$, nazywamy obciążonym, a wyrażenie

$b(Z_{n})=E(Z_{n})-Q$

nazywamy obciążeniem estymatora (M.Sobczyk 2005, s. 141). Własność nieobciążoności oznacza, że przy wielokrotnym losowaniu próby średnia wartości przyjmowanych przez estymator nieobciążony równa się wartości szacowanego parametru. Innymi słowy, wartość nieobciążoności estymatora gwarantuje otrzymanie za jego pomocą ocen wolnych od błędu systematycznego.

Dla małych prób należy starać się używać estymatora nieobciążonego, natomiast dla dużych prób estymator powinien być przynajmniej asymptotycznie nieobciążony. Jest oczywiste, że z dwóch estymatorów nieobciążonych $Zn_{1}$ i $Zn_{2}$ lepszy jest ten, który ma mniejszą wariancje. Daje on bowiem średnio mniejsze odchylenie kwadratowe wartości oszacowanej od wartości prawdziwej

TL;DR

Estymator to statystyka używana do oceny wartości nieznanych parametrów populacji na podstawie próby losowej. Estymator jest nieobciążony, jeśli jego wartość oczekiwana jest równa wartości parametru. Estymator jest efektywny, jeśli ma najmniejsze odchylenie standardowe spośród innych estymatorów. Estymator asymptotycznie nieobciążony ma wartość oczekiwaną równą wartości parametru. Porównanie estymatorów polega na sprawdzaniu ich nieobciążoności i rozproszenia. Metody budowy estymatorów to metoda największej wiarygodności i metoda momentów.

Asymptotyczna nieobciążoność

Estymator asymptotycznie nieobciążony jest wtedy, gdy oczekiwana wartość rozkładu estymatora równa jest wartości parametru szacowanego : $E(Z_{n})=\theta$

Jeśli różnica pomiędzy wartością parametru szacowanego a wartością oczekiwaną rozkładu estymatora jest zależna funkcyjnie estymatora, :

$E(Z_{n})-\theta =b(Z_{n})$

estymator nazywamy wówczas obciążonym, a różnica nazywana jest obciążeniem estymatora.

Efektywność estymatora nieobciążonego

Efektywnością estymatora nieobciążonego $Z_{n}$ parametru Q nazywamy iloraz:

$e(Z_{n})={\frac {D^{2}(Z_{n}^{\ast })}{D^{2}(Z_{n})}}$

Gdzie $Z_{n}^{\ast }$ jest estymatorem najefektywniejszym parametru Q, a $Z_{n}$ jest estymatorem ocenianym. Efektywność najefektywniejszego estymatora jest równa jedności, w pozostałych przypadkach 0 < e < 1 (I.N. Bronsztejn 1968 ). Miarą efektywności estymatora jest jego błąd standardowy. Mały błąd standardowy oznacza, że oceny parametru uzyskane z różnych prób (tej samej wielkości) będą bardzo skupione wokół wartości parametru w populacji. Estymator o najmniejszym błędzie standardowym nazywa się estymatorem najefektywniejszym.

Rozkład estymatora nieobciążonego wg krzywej normalnej

Przy n dążącym do nieskończoności, najczęstszym przypadkiem rozkładu estymatora $Z_{n}$ jest rozkłąd normalny Gaussa - Laplace`a o parametrach: $E(Z_{n}),\sigma (Z_{n})$.

Należy zwrócić uwagę, że w przypadku estymatora nieobciążonego $E(Z_{n})=Q$, różnica pomiędzy oceną parametru (Zn) a parametrem Q jest średnim błędem szacunku, tzn, odchyleniem standardowym estymatora $\sigma (Z_{n})$ (M. Krzysztofiak, A. Luszniewicz 1976) . Z krzywej normalnej G-L wynika, że przy dostatecznie licznych próbach losowych otrzymanie wartości estymatorów, różniących się od parametru więcej aniżeli o trzy błędy szacunku, jest mało prawdopodobne.

Twierdzenie Gaussa-Markowa

Twierdzenie to odpowiada na pytanie jak znaleźć najlepszy nieobciążony estymator liniowy wektora parametrów $\beta$, tzn. wektora, którego współrzędnymi są najlepsze nieobciążone estymatory liniowe odpowiednich współrzędnych wektora $\beta$. Brzmi ono następująco:

W klasycznym modelu regresji liniowej najlepszym nieobciążonym estymatorem liniowym wektora $\beta$ jest wektor otrzymany

metodą najmniejszych kwadratów

$b=\left(X'X\right)^{-1}X'y$

Ponadto: W klasycznym modelu regresji liniowej estymator b uzyskany metodą najmniejszych kwadratów ma minimalną wariancję uogólnioną w klasie liniowych nieobciążonych estymatorów wektora $\beta$ .

Porównania estymatorów

Z zasady istnieje sporo estymatorów nieobciążonych dla konkretnego nieznanego parametru. Tytułem przykładu w przypadku próby pochodzącej z rozkładu normalnego średnia jest ucinana, w podobny sposób jak średnia, estymatorem nieobciążonym wartości średniej. Dodatkowo widać, że sama własność nieobciążoności nie określa koniecznie dobrego estymatora: mało precyzyjny estymator nieobciążony jest w gruncie rzeczy bezużyteczny. Widać, że dla dowolnej ilości próby $n\geq 2$ estymatory ${\hat {\theta }}=X_{1}$ oraz ${\tilde {\theta }}=(X_{1}+X_{2})/2$ są nieobciążonymi estymatorami wartości średniej rozkładu , lecz ich rozproszenie nie maleje wraz z licznością próby. Przy dużej liczności n średnia z próby ${\bar {X}}$ powinna być znacznie lepszym estymatorem (J. Kornacki 2006, s. 154). dlatego wymagane jest , aby poza nieobciążonością estymator miał również możliwie nieduże rozproszenie.

Nieobciążoność stymatora wariancji $\sigma ^{2}$

W klasycznym modelu regresji liniowej (o T łącznych obserwacji na 1+K zmiennych y, $x_{1},...x_{K}$) nieobciążonym estymatorem wariancji składnika losowego jest:

$s^{2}={\frac {LSK}{T-K-1}}$

gdzie:

• LSK to resztowa suma kwadratów odchyleń $\sum \epsilon _{t}^{2}$ ($\epsilon$ - reszta)

Metody budowy estymatorów

1. Metoda największej wiarygodności

• Idea
  • Należy przyjąć taką wartość oszacowania nieznanego parametru, dla której zaobserwowane dla próby

losowej wartości badanej cechy są najbardziej prawdopodobne.

Podstawą budowy estymatora jest tzw. funkcja wiarygodności (łączny rozkład z próby)

1. Metoda momentów

• Idea
  • Estymator nieznanych parametrów $\theta =\left(\theta _{1},\theta _{2},.....,\theta _{n}\right)$metodą momentów

(estymator MM) otrzymuje się z rozwiązania układu równań układu k równań (porównuje się momenty

teoretyczne z momentami empirycznymi):

$m_{l}\left(\theta \right)=M_{l}\left(x_{1},x_{2},...,x_{n}\right)$ dla l = 1,2,..., k

Procedura się upraszcza, jeśli parametry $\theta$ są jednoznacznie określone przez pierwszych k momentów:

$\theta =g\left(m_{1},m_{2},...,m_{k}\right)$

Wtedy estymator parametrów $\theta$ otrzymamy wstawiając do powyższej funkcji momenty empiryczne:

${\bar {\theta }}=g\left(M_{1},M_{2},....,M_{k}\right)$

Estymator nieobciążony — artykuły polecane

Przedział ufności — Estymator — Test zgodności chi-kwadrat — Estymator obciążony — Poziom istotności — Estymacja — Analiza regresji — Test Shapiro-Wilka — Wartościowanie jakości

Bibliografia

• Bronsztejn I.N. (1968), "Matematyka. Poradnik encyklopedyczny", Wydawnictwo Naukowe PWN, Warszawa
• Jaworski I. (1998), Własności koherentnych estymatorów charakterystyk niestacjonarnych sygnałów zmodulowanych, Akademia Techniczno-Rolnicza w Bydgoszczy, Bydgoszcz
• Kornacki J. (2006), Statystyka dla studentów kierunków technicznych i przyrodniczych, Wydawnictwo Naukowo-Techniczne, Warszawa
• Krzysztofiak M., Luszniewicz A. (1976), Statystyka, PWE, Warszawa
• Sobczyk M. (2007), Statystyka, Wydawnictwo Naukowe PWN, Warszawa
• Witkowski B. (red.) (2018), Statystyka w zarządzaniu, Wydawnictwo Naukowe PWN, Warszawa
• Zieliński R. (2004), Siedem wykładów wprowadzających do statystyki matematycznej, Państwowe Wydawnictwo Naukowe, Warszawa
• Zieliński R. (2008), Estymacja frakcji, Matematyka Stosowana, nr 9

Autor: Anna Dziadosz, Bernadeta Nowacka