ANOVA & Kruskal-Wallis

ANOVA (Analysis of Variance)

Analisis varians terhadap hasil sesuatu

kajian; khususnya ke atas suatu varians
statistik bagi tujuan menentukan pengaruh
pembolehubah-pembolehubah kajian ke
atas varians yang dimaksudkan.
LATAR BELAKANG DATA & ANOVA
 Semua set data akan mempamer serakan
(variability)
 Serakan boleh wujud secara :
 Dalam kumpulan (within group)
 Antara kumpulan (between group)
 Kaedah ANOVA boleh menentukan sama ada tahap
perbezaan pada serakan tersebut signifikan atau
sebaliknya.
  Perbezaan

di antara serakan dalam kumpulan
dengan serakan di antara kumpulan boleh
memberi ketentuan mengenai :

H0 : Serakan dalam kumpulan = serakan antara kumpulan

Ha : Serakan dalam kumpulan serakan antara kumpulan

ANOVA Sehala
ANOVA Sehala
(one-way ANOVA)

Satu faktor (pembolehubah yang

dimanipulasi)
Satu pembolehubah bersandar
Tiga atau lebih kumpulan
perbandingan
One-way ANOVA ASSUMPTIONS
 Assumption of Normality
Like the t-test you can place fast and loose with this
one, especially with large enough sample size – see:
the Central Limit Theorem
 Assumption
of Homogeneity of Variance
(Homoscedasticity)
Like the t-test, this isn’t problematic unless one
level’s variance is much larger than one the others
(~4 times as large) – the one-way ANOVA is robust to
small violations of this assumption, so long as group
size is roughly equal
 Independence of Observations
Like the t-test, the ANOVA is very sensitive to
violations of this assumption – if violated it is more
appropriate to use a Repeated-Measures ANOVA
One-Way ANOVA
 Assumptions of ANOVA:
 Independence of Observations
 Homoscedasticity

 Normality
 Equal sample sizes – not technically an assumption, but effects
the other 3

 How do we know if we violate one (or more) of

these? What do we do?
One-Way ANOVA
 Independence of Observations
 Identified methodologically
 Otherthan using repeated-measures tests
(covered later), nothing you can do

 Equal Sample Sizes

 Add more S’s to the smaller group
 DON’T delete S’s from the larger one
One-Way ANOVA
 Normality
 Can identify with histograms of DV’s (IV’s are
supposed to be non-normal)
 More appropriate to use skewness and kurtosis
statistics
 Ifdetected (and sample size very small), use
appropriate transformation
One-Way ANOVA
 Estimates of Effect Size in ANOVA:
1. η2 (eta squared) = SSbetween/SStotal
 Unfortunately, this is what most statistical computer
packages give you, because it is simple to calculate, but
seriously overestimates the size of effect

SS groups   k  1 MS error
2. ω2 (omega squared) = SS total  MS error

 Less biased than η2, but still not ideal

One-Way ANOVA

 Estimates of Effect Size in ANOVA:

3. Cohen’s d = X1  X 2 2 F 2 t
 
sp df error n1  n 2  2

Remember: for d,
 d = 0.2 = small effect,
 d = 0.5 = medium, and
 d = 0.8 = large
APLIKASI ANOVA Sehala
 Boleh digunakan apabila min pembolehubah bersandar berbeza-beza di
antara kumpulan

 Contoh 1:
 Contoh 2:
 Kajian membandingkan 3 orang pensyarah yang mengajar satu bahagian
dalam satu kursus. Mereka memberi peperiksaan akhir yang sama dan mereka
ingin tahu adakah terdapat perbezaan antara skor pada bahagian-bahagian
mereka.
Apakah Analisis yang Dilakukan Menerusi
Anova Sehala ?
Pensyarah N Mean
Membandingkan 1 parameter (min skor)
Dr. A 60 68.367
di antara semua kumpulan
Dr. B 87 71.448
Dr. C 98 67.939

• Menentukan sama ada perbezaan min di antara kumpulan; signifikan,

atau tidak signifikan menerusi satu perbandingan umum (main
comparison)

• ANOVA tidak memerihalkan kumpulan khusus yang menghasilkan

perbezaan signifikan
[Bagi tujuan ini, perlu analisis post hoc]
CONTOH JADUAL ANOVA Sehala
JADUAL ANOVA Sehala
Source of Degree of Freedom Mean of Squares (MS) F-ratio
Variation
SSbetween df =

SSwithin df =
SSwithin
SStotal

SStotal

 k = # kumpulan (treatment group) xi = min untuk kumpulan i

n = # pemerhatian dalam setiap kumpulan SS = Sum of Squares
satu pemerhatian dalam kumpulan i MS = Mean of Squares
= min semua kumpulan (grand mean)
 LATIHAN

1. Ada berapa kumpulan ?

2. Ada berapa nilai pemerhatian ?
3. Apakah nilai SSb?
4. Apakah nilai F?
5. Dapatkan effect size (eta quared).
6. Nyatakan keputusan Ho.
 LATIHAN

1. Ada berapa kumpulan ? (k = 3) ; df = k – 1 = 2

2. Ada berapa nilai pemerhatian ? (n = 60) ; df = n – k = 57
3. Apakah nilai SSb ? (SSb = 35.73) ; SST = SSb + SSw
4. Apakah nilai F ? (F = 4.066) ;
5. Dapatkan effect size (eta quared). 0.125
6. Nyatakan keputusan Ho. – Reject Ho η2 (eta squared) = SSbetween/SStotal
Ujian Bukan Parametrik
KRUSKAL-WALLIS
Ujian Kruskal-Wallis :
Analysis of Variance by Ranks
 Digunakan untuk membandingkan 3 atau lebih sampel
untuk memastikan sampel-sampel tersebut datang
daripada populasi yang sama
 Menggunakan skala ukuran ORDINAL
 Merupakan alternatif kepada ujian ANOVA sehala
 Setiap sampel mempunyai sekurang-kurangnya 5
pemerhatian
 Sampel data disusun dari rendah ke tinggi sebagai satu
kumpulan (Rank)
Kruskal-Wallis Assumptions
 Assumption #1 : The dependent variable is measured at
continuous or ordinal level and the independent variable
consists of two or more categorical, independent groups
 Assumption #2 : You should have independence of
observations, which means that there is no relationship
between observations in each group of the independent
variable or between the groups themselves
 Assumption #3 : The distribution of scores for each group
of the independent variable have the same shape (same
variability)
Ujian Kruskal-Wallis
  Hipotesis bagi ujian Kruskal-Wallis :
 H0 : Kesemua populasi k mempunyai taburan yang sama
 Ha : Tidak semua populasi k mempunyai taburan yang sama
 Ujian statistik Kruskal-Wallis :

 Jika maka H dianggarkan mempunyai taburan (Chi kuasa dua)

Contoh
 Adakah bahagian yang berbeza mempunyai saiz kelas yang berbeza?
Class size Class size Class size
H0 : MedianM = MedianE = MedianH (Math) (English) (History)
: Ketiga-tiga bahagian mempunyai saiz kelas 23 55 30
median yang sama 41 60 40
54 72 18
Ha : Tidak semua bahagian mempunyai saiz kelas
median yang sama 78 45 34
66 70 44
Group Class size Rank
M 23
M 41
 1. Hasil tambah rank bagi kumpulan M = ?
M 54
M 78 2. Hasil tambah rank bagi kumpulan E = ?
M 66
3. Hasil tambah rank bagi kumpulan H = ?
E 55
E 60
E 72
E 45
E 70
H 30  
H 40
H 18
H 34
H 44
Group Class size Rank  1. Hasil tambah rank bagi kumpulan M =
M 23 2
2. Hasil tambah rank bagi kumpulan E =
M 41 6
M 54 9 3. Hasil tambah rank bagi kumpulan H =
M 78 15
M 66 12
E 55 10
E 60 11
E 72 14
E 45 8
E 70 13
H 30 3  
H 40 5
H 18 1  
H 34 4
H 44 7

   kira = 6.72
H

 Hkritikal ?

 Cari di Jadual A.4, taburan Chi kuasa dua

 Hkritikal = 5.992

 Oleh sebab
 H0 ditolak. Tidak semua bahagian
mempunyai saiz kelas median yang sama.

H0 ditolak jika Hkira > Hkritikal


  Further analysis (Pairwise Comparisons of Average Ranks)
 The pairwise comparison test statistic :

where and is the mean of the ranks of the observations

from population i and j

 The critical point for the paired comparisons :

Reject if
  Pairwise Comparisons of Average Ranks
 

Reject if D > CKW

|𝑅´ 𝑖 − 𝑅´ 𝑗|
 𝐷=
PENGIRAAN MELALUI SPSS

Langkah 1 : Input data

Langkah 2 : Pilih Analyze > Nonparametric Tests > Legacy Dialogs
> K Independent Samples…
 Langkah 3 :
Letakkan Classsize di Test
Variable List

Letakkan Group di Grouping

Variable

Klik Define Range…

Langkah 4:
Input 1 di ruangan Minimum dan 3 di
ruangan Maximum

Klik Continue

Klik OK
 Langkah 6 : Keputusan

H0 ditolak
 KUIZ

Dapatkan nilai SSw, nilai F, bil. kumpulan dan keputusan bagi Ho.