Test Shapiro-Wilka

Test Shapiro-Wilka
Polecane artykuły
Metody statystyczne Estymator obciążony Mediana wzór Kwartyl Analiza regresji Przedział ufności Schemat Bernoulliego Estymator nieobciążony Błąd bezwzględny

Test Shapiro-Wilka jest jednym z testów normalności rozkładu. Test ten jest nieparametryczny, czyli nie jest oparty na żadnych wstępnych założeniach co do parametrów rozkładu, (ponieważ polega on na badaniu jego kształtu poprzez statystyki porządkowe)(Kubala M. 2020, s.2). "Jest najbardziej zalecanym testem normalności rozkładu, jednakże może dawać mylne wyniki dla liczebności próbek powyżej 2000. Wymaga, żeby cecha miała rozkład ciągły."(Billewicz K. 2011, s. 78)

Test Shapiro-Wilka pierwotnie był ograniczony dla wielkości próby mniejszej niż 50. Był on pierwszym testem, który był w stanie wykryć odstępstwa od normalności z powodu skośności i/lub kurtozy. Stał się preferowanym testem ze względu na swoją silną moc. Test jest oparty na szacowaniu średniej odległości wykresu kwantyl-kwantyl od prostej. Może być stosowany dla małych prób. Jest mało wrażliwy np. na autokorelację (Razali Mohd N., Yap B. Wah 2011, s. 25).

Hipotezę zerową tego testu można przedstawić następująco:

H0: Badana próba pochodzi z populacji o rozkładzie normalnym;

W związku z tym hipoteza alternatywna brzmi:

H1: Badana próba nie pochodzi z populacji o rozkładzie normalnym (Billewicz K. 2011, s. 78)

TL;DR

Test Shapiro-Wilka jest nieparametrycznym testem normalności rozkładu. Jest preferowanym testem, ale może dawać mylne wyniki dla próbek powyżej 2000. Test opiera się na szacowaniu odległości wykresu kwantyl-kwantyl od prostej. Może być stosowany dla małych prób i jest mało wrażliwy na autokorelację. Test ma hipotezę zerową, że badana próba pochodzi z populacji o rozkładzie normalnym, i hipotezę alternatywną, że próba nie pochodzi z populacji o rozkładzie normalnym. Test można poprawić za pomocą wartości a_i obliczanych iteracyjnie. Przykład zastosowania testu pokazuje, że hipoteza o normalności rozkładu może zostać odrzucona.

Wzór testu Shapiro-Wilka

W= ${\frac {{\bigg (}\sum _{i=1}^{[n/2]}a_{n-i+1}(e_{n-i+1}-e_{i}{\bigg )}^{2}}{\sum _{i=1}^{n}(e_{i}-{\bar {e}})^{2}}}$

Gdzie:

• a_i to współczynnik Shapiro–Wilka, stała, będąca zależna od n oraz od k, e_i – reszty modelu uporządkowane w kolejności rosnącej.

Obszar odrzucenia hipotezy jest lewostronny:

• Parser nie mógł rozpoznać (błąd składni): {\displaystyle \big( 0, W^*_{n,α} \big\rangle }

gdzie:

• W^*_n,α to wartość krytyczna.

Odczytujemy ją z tablic wartości krytycznych do testu Shapiro–Wilka dla określonego n i α, Oznaczana jest również jako W* (Billewicz K. 2011, s. 78)

Wartość W zawiera się pomiędzy zero a jeden. Małe wartości W prowadzą do odrzucenia normalności, natomiast wartość jeden wskazuje normalność danych (Razali Mohd N., Yap B. Wah 2011, s. 25).

Konstrukcja funkcji testowej

1) Porządkujemy wszystkie wartości od najmniejszej wartości do największej i nadajemy im kolejne indeksy i od 1 do n, gdzie n jest liczebnością próby. (tworzymy szereg wartości x₁, x₂...x_n;)

2) Dla m= $[{\frac {n}{2}}]$ obliczamy sumę $b=\sum _{i=1}^{m}a_{i}(x_{n+1-i}-x_{i}),$ czyli sumujemy różnice pomiędzy pierwszą największą wartością a pierwszą najmniejszą, drugą największą a drugą najmniejszą itd., aż dochodzimy do wartości spotykających się w środku uporządkowanego szeregu. Każda taka różnica jest przemnożona dodatkowo przez pewną wagę a_i;

3) Liczymy sumę kwadratów odchyleń od wartości średniej $S^{2}=\sum _{i=1}^{n}(x_{i}-{\bar {x}}\ )^{2}$

Program Excel nie posiada funkcji liczącej bezpośrednio statystykę W, ani p-wartość takiej statystyki. Dlatego podczas dokonywania analizy musimy posługiwać się stabelaryzowanym rozkładem i na jego podstawie wyznaczać wartość krytyczną W_kr, a następnie porównywać z nią wartość obserwowaną W.

W pierwotnej, oryginalnej pracy autorstwa Shapiro i Wilka tablice wartości statystyki W oraz współczynniki a_i,które są potrzebne do obliczenia jej wartości obserwowanej, zostały podane dla prób w zakresie 3 ≤ n ≤ 50. Aktualnie zostały opracowane algorytmy, które pozwalającą na obliczenie statystyki i współczynników dla prób o wielkości 3 ≤ n ≤ 5000 (Kubala M. 2020, s. 2-3).

Poprawa testu Shapiro-Wilka

Wartości a_i, które zostały podane w tablicach Shapiro i Wilka oraz w innych pracach zawierają pewne błędy. Royston (1992) podał metodę iteracyjną, za pomocą której obliczamy wartości a_i . W pracy wartości a_i obliczamy ze wzorów:

a = [a₁, a₂, . . . , a_n] = Parser nie mógł rozpoznać (błąd składni): {\displaystyle \frac{m'V^−1}{\sqrt m'V^-1 V^-1m}}

Parser nie mógł rozpoznać (błąd składni): {\displaystyle m_i=E(x_i:n)=n (\frac{n-1}{i-1})\textstyle \int\limits_{0}^{1} x^{n-i} (1-x)^{n-i}Φ ^{-1}\, (x)dx }

V= [cov(X_i:n,X_j:n)]_i,j=1,...,n=m_ij-m_im_j

m_ij=E(X_i:n,X_j:n)= Parser nie mógł rozpoznać (błąd składni): {\displaystyle \frac{n!}{(i-1)!(j-i-1)!(n-j)!} \textstyle \int\limits_{0}^{1} \, \textstyle \int\limits_{x}^{1} x^{i-1} (y-x)^{j-i-1}(1-y)^{n-j}Φ^{-1}(x)Φ^{-1}(y)\,dxdy} (Hanusz Z., Tarasińska J. 2012, s. 5)

Przykład zastosowania testu

"Zmierzono czas pracy wykonywania pewnego typu elementów otrzymując : 12.4, 14.2, 14.9, 15.6, 6.1, 16.8, 17.3, 7.9, 8.2, 8.6, 19.3, 9.7, 20.4, 1.9, 22.8, 23.7, 25.2, 25.9, 27.4. Na poziomie istotności α = 0.1 zweryfikować testem Shapiro-Wilka hipoteze o normalności rozkładu.

n=19

i	x(20−i) − x(i)	ai(n)	ai(n)(x(20−i) − x(i))
1	27.4-12.4=15	0.4808	7.21200
2	25.9-14.2=11.7	0.3232	3.78144
3	25.2-14.9=10.3	0.2561	2.63783
4	27.3-15.6 =8.1	0.2059	1.66779
5	22.8-16.1=6.7	0.1641	1.09947
6	21.9-16.8=5.1	0.1271	0.64821
7	20.4-17.3 =3.1	0.0932	0.28892
8	19.7-17.9 =1.8	0.0612	0.11016
9	19.3-18.2=1.1	0.0303	0.03333
			17.47915

${\bar {x}}\$ = 19.3842, $S^{2}$ = 730.57 zatem $W={\frac {(17.47915)^{2}}{730.57}}=0.418$

Wartości w₁, w₂ odczytane z tablic wynoszą w₁ = 0.901, w₂ = 0.982, 0.418 ∈ Q = (−∞, 0.901) ∪ (0.982,∞) zatem odrzucamy hipotezę H₀ normalności rozkładu czau wykonywania elementu." (Wawrzyniak-Kosz W. 2020, s. 2)

Bibliografia

• Billewicz K. (2008), Test normalności rozkładu wartości poboru energii, "Przegląd elektrotechniczny", nr 4, s. 78-79
• Hanusz Z., Tarasińska J. (2012), O testach wielowymiarowej normalności opartych na statystyce Shapiro-Wilka , Katedra Zastosowań Matematyki i Informatyki Uniwersytet Przyrodniczy w Lublinie
• Kubala M. (2020) Testy normalności rozkładu, Wydział Inżynierii Środowiska Politechnika Krakowska
• Royston P. (1992), Approximating the Shapiro-Wilk W test for non-normality, "Statistics and Computing" nr 2, s. 117–119
• Razali Mohd N., Yap B. Wah (2011) Power comparisons of Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors and Anderson-Darling tests , "Journal of Statistical Modeling and Analytics" nr 1, s. 25
• Wawrzyniak-Kosz W. (2020), Testnorm , Wydział Inżynierii Środowiska Politechnika Krakowska

Autor: Barbara Treśka