Metoda najmniejszych kwadratów
Metoda najmniejszych kwadratów (MNK) jest jedną z najważniejszych technik używanych w statystyce i ekonometrii do estymacji parametrów modelu regresji liniowej. Jej celem jest minimalizacja sumy kwadratów różnic między wartościami obserwowanymi a wartościami przewidywanymi przez model.
W kontekście modelu regresji liniowej, MNK szuka linii najlepiej dopasowanej do danych, minimalizując sumę kwadratów reszt (różnic między wartościami obserwowanymi a wartościami przewidywanymi). Model regresji liniowej ma postać:
Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle Y_i = \beta_0 + \beta_1X_i + \varepsilon_i}
gdzie:
- Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle Y_i} to zmienna zależna dla i-tej jednostki
- Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle X_i} to zmienna niezależna dla i-tej jednostki
- Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle \beta_0} i Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle \beta_1} to parametry modelu, które chcemy estymować
- Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle \varepsilon_i} to reszta (różnica między wartością obserwowaną Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle Y_i} a wartością przewidywaną przez model Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle \beta_0 + \beta_1X_i} )
MNK estymuje parametry Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle \beta_0} i Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle \beta_1} poprzez minimalizację funkcji kwadratowej sumy reszt:
Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle min \sum_{i=1}^{n} \varepsilon_i^2 = min \sum_{i=1}^{n}(Y_i - \beta_0 - \beta_1X_i)^2}
Wynikiem MNK są szacunki parametrów Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle \beta_0} i Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wikimedia.org/api/rest_v1/”:): {\displaystyle \beta_1} , które minimalizują tę funkcję. Te szacunki można otrzymać poprzez różniczkowanie funkcji sumy kwadratów reszt i rozwiązanie układu równań wynikającego z równań normalnych.
Wyniki MNK można interpretować jako wartości, które minimalizują różnice między wartościami obserwowanymi a wartościami przewidywanymi przez model regresji liniowej. Im mniejsze są te różnice, tym lepsze dopasowanie modelu do danych.
Metoda najmniejszych kwadratów jest szeroko stosowana w dziedzinach takich jak ekonomia, finanse, nauki społeczne oraz wszędzie tam, gdzie analiza zależności między zmiennymi jest istotna.
| Metoda najmniejszych kwadratów — artykuły polecane |
| ANOVA — Próg absolutny — Eksperyment — Próba — Błąd pomiaru — Metoda badawcza — Zmienna zależna — Badanie kohortowe — Alfa Cronbacha — Aproksymacja |
Bibliografia
- Kot S., Jakubowski J., Sokołowski A. (2011), Statystyka, Difin, Warszawa
