Metoda najmniejszych kwadratów

Metoda najmniejszych kwadratów (MNK) jest jedną z najważniejszych technik używanych w statystyce i ekonometrii do estymacji parametrów modelu regresji liniowej. Jej celem jest minimalizacja sumy kwadratów różnic między wartościami obserwowanymi a wartościami przewidywanymi przez model.

W kontekście modelu regresji liniowej, MNK szuka linii najlepiej dopasowanej do danych, minimalizując sumę kwadratów reszt (różnic między wartościami obserwowanymi a wartościami przewidywanymi). Model regresji liniowej ma postać:

$Y_{i}=\beta _{0}+\beta _{1}X_{i}+\varepsilon _{i}$

gdzie:

$Y_{i}$ to zmienna zależna dla i-tej jednostki

$X_{i}$ to zmienna niezależna dla i-tej jednostki

$\beta _{0}$ i $\beta _{1}$ to parametry modelu, które chcemy estymować

$\varepsilon _{i}$ to reszta (różnica między wartością obserwowaną $Y_{i}$ a wartością przewidywaną przez model $\beta _{0}+\beta _{1}X_{i}$)

MNK estymuje parametry $\beta _{0}$ i $\beta _{1}$ poprzez minimalizację funkcji kwadratowej sumy reszt:

$min\sum _{i=1}^{n}\varepsilon _{i}^{2}=min\sum _{i=1}^{n}(Y_{i}-\beta _{0}-\beta _{1}X_{i})^{2}$

Wynikiem MNK są szacunki parametrów $\beta _{0}$ i $\beta _{1}$, które minimalizują tę funkcję. Te szacunki można otrzymać poprzez różniczkowanie funkcji sumy kwadratów reszt i rozwiązanie układu równań wynikającego z równań normalnych.

Wyniki MNK można interpretować jako wartości, które minimalizują różnice między wartościami obserwowanymi a wartościami przewidywanymi przez model regresji liniowej. Im mniejsze są te różnice, tym lepsze dopasowanie modelu do danych.

Metoda najmniejszych kwadratów jest szeroko stosowana w dziedzinach takich jak ekonomia, finanse, nauki społeczne oraz wszędzie tam, gdzie analiza zależności między zmiennymi jest istotna.

Metoda najmniejszych kwadratów — artykuły polecane

ANOVA — Próg absolutny — Eksperyment — Próba — Błąd pomiaru — Metoda badawcza — Zmienna zależna — Badanie kohortowe — Alfa Cronbacha — Aproksymacja

Bibliografia

• Kot S., Jakubowski J., Sokołowski A. (2011), Statystyka, Difin, Warszawa