Inferences about a Mean Vector

Suwanda
Sumber :

Multivariate Versus Univariate Tests

The motivation for testing p variables multivariately rather than (or in
addition to) univariately :
1. The use of p univariate tests inflates the Type I error rate, ,
whereas the multivariate test preserves the exact level.
2. The univariate tests completely ignore the correlations among the
variables, whereas the multivariate tests make direct use of the
correlations.
3. The multivariate test is more powerful in many cases. The power
of a test is the probability of rejecting H0 when it is false.
4. Many multivariate tests involving means have as a by product the
construction of a linear combination of variables that reveals more
about how the variables unite to reject the hypothesis.

Multivariate Versus Univariate Tests

Explanation :
1. For example, if we do p = 10 separate univariate tests at the .05 level, the
probability of at least one false rejection is greater than .05. If the variables were
independent (they rarely are), we would have (under H0),
P(at least one rejection) 1 P(all 10 tests accept H0)
1 (.95)10 0.40.
The resulting overall of .40 is not an acceptable error rate. Typically, the 10
variables are correlated, and the overall would lie somewhere between .05 and
.40.
2. It is clear
3. The power of a test is the probability of rejecting H0 when it is false. In some cases,
all p of the univariate tests fail to reach significance, but the multivariate test is
significant because small effects on some of the variables combine to jointly
indicate significance. However, for a given sample size, there is a limit to the
number of variables a multivariate test can handle without losing power.
4. It is clear

THE PLAUSIBILITY OF 0 AS A VALUE FOR A NORMAL

POPULATION MEAN

Pengujian Hipotesis
2
T Hotelling
Metode Rasio Kemungkinan
Daerah Konfidensi
Bonferroni

Pengujian Hipotesis (1)

Univariat :

H 0: 0 vs H 1: 1

Statistik penguji :

t
0

S/ n

dimana

1 n
X Xi
n i 1

dan

S2

2
1 n
Xi X

n 1 i 1

Statistik penguji tersebut berdistribusi t student dengan

derajat kebebasan n-1.
H 0 ditolak jika t hasil pengamatan lebih besar nilai kritis
t
pada taraf nyata .
; n 1
2

Pengujian Hipotesis (2)

Penolakan H 0 tatkala t besar, setara dengan
penolakan H 0 jika kuadratnya besar
t

S /n

=n X 0 S

-1

Tolak H 0 pada taraf signifikansi jika

X >t

n X 0 S

-1

2
n 1; /2

Pengujian Hipotesis (3)

Multivariate - T 2 Hotelling :
Generalisasti bentuk kuadrat untuk kasus multivariat
adalah
T =n X 0 S
2

dimana

-1

X
0

10

n
n
t
1
1
20

X Xj, S
X j X X j X , 0

n j 1
n 1 j 1

p 0

Pengujian Hipotesis (4)

Multivariate - T 2 Hotelling :
Jika T 2 hasil pengamatan cukup besar yaitu jika X
berbeda jauh dari 0 , hipotesis H 0 : 0 ditolak.
T

n 1 p F
berdistribusi sebagai
p ,n p
n

dimana Fp ,n p merupakan variabel acak

berdistribusi F dengan derajat kebebasan p dan n-p.

Pengujian Hipotesis (5)

Multivariate - T 2 Hotelling :
Pada taraf signifikansi , tolak hipotesis H 0 : 0
dan mendukung H1 : 0 jika pengamatan
T

n 1 p

=n X 0 S X 0 >
Fp ,n p
n p
t

-1

Pengujian Hipotesis (6)

To summarize, we have the following:

Pengujian Hipotesis (7)

We described the manner in which the Wishart
distribution generalizes the chi-square distribution :

Pengujian Hipotesis (8)

Pengujian Hipotesis (9)

Pengujian Hipotesis (10)

Pengujian Hipotesis (11)

Pengujian Hipotesis (12)

Contoh 5.2
Keringat dari 20 perempuan sehat dianalisis.
Tiga komponen,
X1 = tingkat keringat,
X2 = kandungan natrium, dan
X3 = kandungan kalium,
diukur, dan hasilnya, yang kita sebut data keringat.

Pengujian Hipotesis (13)

Pengujian Hipotesis (14)

Rumusan Hipotesis :

Pengujian Hipotesis (15)

Nilai Statistik Penguji

Pengujian Hipotesis (16)

Multivariate Metode Rasio Kemungkinan :
Untuk menentukan apakah 0 merupakan nilai yang
dapat diterima dari , rasiokan maksimum dari
L 0 , dengan maksimum L , tanpa
pembatasan. Menghasilkan rasio yang disebut
statistik rasio kemungkinan

max L 0 ,

Rasio Kemungkinan

max L ,
,
0

disebut
Ekivalen dengan statistik 2 / n


lambda Wilk
0

n/2

Pengujian Hipotesis (17)

Multivariate Metode Rasio Kemungkinan :
2
T
Uji yang didasarkan pada ekivalen dengan uji rasio
kemungkinan H 0 : 0 lawan H1 : 0 karena

T
1
n 1

2/ n

Disini H 0 ditolak untuk nilai kecil dari 2/ n atau untuk

T 2 yang cukup besar.

Pengujian Hipotesis (18)

Contoh 5.3 :
a) Hitung T 2 untuk pengujian H 0 : t 7 11 ,
menggunakan data
2 12
8 9

X
6 9

8 10

b) Spesifikasikan distribusi dari T 2 untuk kondisi (a)

c) Menggunakan (a) dan (b), uji H 0 pada taraf nyata
5% . Berikan kesimpulan.

Pengujian Hipotesis (19)

Jawaban :
a)
1 4
1 2 8 6 8 6
X j ,

4 i 1
4 12 9 9 10 10
t
1 4
S X j X X j X
3 i 1
X

86
66
86
1 2 6
=
2 6 12 10
8 6 9 10
6 6 9 10
8 6 10 10
3 12 10
9 10
9 10
10 10

8.00 -3.33
=
,
-3.33 2.00
0.4091 0.6818
S 1

0.6818 1.6364

Pengujian Hipotesis (20)

T =n X 0 S
2

-1

X
0

6 7 8.00 -3.33 6 7
=4

10 11 -3.33 2.00 10 11
= 13.6364
-1

Pengujian Hipotesis (21)

b)

n 1 p

~
Fp ,n p
n p

(4 1)2
T ~
F2,2 3F2,2
42
2

c)

maka F2,2 0.05 19

Karena T 2 13.6364 3F(2,2) 0.05 =3(19)=57 , H 0
tidak ditolak pada taraf nyata 5% .
H 0 : t 7 11

5%

Pengujian Hipotesis (22)

Dalam hal matriks kovariansi diketahui,

Statistik penguji
n X 1 X
t

Berdistribusi dengan derajat kebebasan p.

Tolak H 0 jika nilai pengamatan lebih besar
nilai kritis
2

2
p

Pengujian Hipotesis (23)

Contoh 5.4 :
Misalnya, tinggi dan berat badan diamati untuk sampel dari
20 mahasiswa laki-laki.

Pengujian Hipotesis (24)

Pengujian Hipotesis (25)

Pengujian Hipotesis (26)

Daerah peneriamaan dan penolakan H0 multivariat.

Dalam hal korelasi negatif, arah ellip berubah, kemungkinan

hasilnya akan sama antara uji multivariat dan univariat.
Ini contoh untuk keuntungan ke tiga.

Pengujian Hipotesis (27)

Gambaran kelebihan ke-1.

Interval Konfiden Univariat

Interval konfiden mengandung semua nilai-nilai

0 yang tidak akan ditolak pada taraf uji
dari H 0 : 0
x tn1 / 2

s
s
0 x tn1 / 2
n
n

Daerah Konfiden Multivariat

Merupakan pengembangan dari kasus univariat.
1 100 daerah konfiden untuk mean distribusi
normal berdimensi p adalah ellipsoid yang
ditentukan oleh semua sehingga,
n x S
t

-1

n 1 p

Fp ,n p
x
n p

Untuk p =2, bentuk di atas akan membentuk

pertidaksamaan ellips.

Daerah Konfiden Multivariat

Keputusan : 0 jatuh di dalam daerah ellipsoid
(daerah konfidens), jika
n x 0 S
t

-1

n 1 p

Fp ,n p
x 0
n p

Semua titik yang jatuh dalam ellips

menunjukkan daerah penerimaan H 0 dalam
pengujian H 0 : 0 melawan H1 : 0

Daerah Konfiden Multivariat

Contoh : (Contoh 5.3 hlm. 221)
Diketahui :
Ukuran sampel : n=42
Mean sampel :
0.564
X

0.603

Matriks kovariansi sampel : s 0.0144 0.0117

0.0117 0.0146
163.391
s

163.391 200.228

Invers mat. kov sampel : 1 203.018

Daerah Konfiden Multivariat

Akar ciri dari S :

1 0.026
2 0.002

Vektor ciri dari S :

0.704
v1

0.710

.710
v2

0.704

Daerah Konfiden Multivariat

95% Konfidens Ellips untuk , mengandung
semua nilai 1 , 2 :
n x S
t

-1

n 1 p

Fp ,n p
x
n p

203.018 163.391 0.564 1 41 2

42 0.564 1 0.603 2
F2,40 0.05

163.391 200.228 0.603 2 40

Karena F

2,40

0.05 3.23 , sehingga konfiden

42 203.018 0.564 1 42 200.228 0.603 2

2

ellips :

84 163.391 0.564 1 0.603 2 6.62

Daerah Konfiden Multivariat

Jika kita mempunyai hipotesis :
0.562
H0 :

0.589

0.562
H1 :

0.589

Substitusikan 0.562
t

0.589

pada daerah konfidens:

42 203.018 0.564 0.562 42 200.228 0.603 0.589

2

84 163.391 0.564 0.562 0.603 0.589 1.30 6.62

Jelas bahwa 0.562 0.589 berada dalam daerah

0.562
H
:

konfiden, oleh karena itu

diterima pada
0.589
taraf nyata 5%.
t

Daerah Konfiden Multivariat

Gambar Ellips :
X 0.564 0.603
Pusat :
Arah Sumbu mayor : v 0.704 0.710
Arah Sumbu minor : v 0.710 0.704
Setengah Panjang Sumbu mayor :
t

t
1

t
2

p n 1

n n p

Fp ,n p 0.026

Setengah Panjang Sumbu minor :

2

p n 1

n n p

Fp ,n p 0.002

2 41

42 40

2 41

42 40

3.23 0.064

3.23 0.018

Daerah Konfiden Multivariat

Rasio panjang Panjang Sumbu mayor dan sumbu minor :

2 1

p n 1
Fp ,n p
n n p

2 2

p n 1
Fp ,n p
n n p

1 0.161

2 0.045

Daerah Konfiden Multivariat

Daerah Konfiden Multivariat

95% Konfiden ellips untuk :

Interval Konfiden Simultan T

Secara simultan, untuk semua a, interval

at x

n - 1 p
n - 1 p F

t
t
t
Fp ,n p a Sa
p , n p a Sa , a x +

n p n
n p n

akan mengandung a t dengan probabilitas 1

Interval Konfiden Simultan T

at 1 0

0 ,

Untuk
t
a
sampai dengan 0 0
selang-selang :
x1 -

n - 1 p F
p , n p
n p

x2 -

n - 1 p F
p , n p
n p

xp -

n - 1 p F
p , n p
n p

s11
1 x1
n

at 0 1

n - 1 p F
p , n p
n p

s11
n

1 diperoleh

s22
2 x2
n

s pp
n

p xp

n - 1 p F
p , n p
n p

s22
n

n - 1 p F
p , n p
n p

s pp
n

Interval Konfiden Simultan T

Contoh : (Contoh 5.4 hlm. 226)

Interval konfidens 95% sebagai proyeksi konfidens ellipsoid
untuk data pada Contoh 5.3:
x1 -

n - 1 p F
p , n p 0.05
n p

0.564 -

41 2 3.32
40

s11
1 x1
n

n - 1 p F
p ,n p 0.05
n p

0.0144
1 0.564
42

0.516 1 0.612

41 2 3.32
40

s11

0.0144

42

Interval Konfiden Simultan T

x2 -

n - 1 p F
p , n p 0.05
n p

0.603 -

41 2 3.32
40

s22
2 x2
n

n - 1 p F
p ,n p 0.05
n p

0.0146
2 0.603
42

41 2 3.32
40

0.555 2 0.651

s22

0.0146

42

Interval Konfiden Simultan T

Interval Konfiden T 2 untuk Komponen Rata-rata

sebagai proyeksi konfiden ellips pada sumbu-sumbu.

Interval Konfiden t (Satu Persatu)

Merupakan interval konfiden T 2 untuk a t dengan kovariansi
dianggap nol
Interval konfiden 100 1 % untuk masing-masing i ; i 1, 2, , p
(satu per satu) :
s
s
x1 - tn1 11 1 x1 tn 1 11
2 n
2 n
s
s
x2 - tn1 22 2 x2 tn1 22
2 n
2 n

s pp
s pp
x p - tn1
p x p tn 1
2 n
2 n

Interval Konfiden t (Satu Persatu)

Jarak Pengali Kritis untuk Interval Konfiden t ( satu per satu)
dan Interval Konfiden T 2 (simultan) pada 5% :

Semakin besar p, n tetap, pengali kritis membesar

Semakin besar n, p tetap, pengali kritis mengecil.

Interval Konfiden t (Satu Persatu)

Tampak interval konf. t lebih pendek dari interval
konf. T
Hal ini disebabkan karena terjadi inflasi pada
interval konf. t , seperti yg ditunjukkan sbb :
2

P semua int. t memuat i P int. t mem. 1 P int. t mem. 2 P int. t mem p

1 1

1
Jadi jika 1 0.95 dan p 6 , probalitasnya adalah
6
0.95 0.74
p

Untuk pemecahannya dapat menggunakan interval

Bonferroni.

Konfiden Simultan Bonferroni

Andaikan terdapat m buah kombinasi linear
dari
Jika banyaknya m kecil, konfiden interval
simultan yang lebih pendek dari interval
konfiden T 2 dapat ditentukan.
Metodenya disebut metode Bonferroni.

Konfiden Simultan Bonferroni

Misal C i menotasikan sebuah konfiden tentang
t
nilai ai dengan :

P Ci benar 1 i , i 1, 2,

,m

P semua Ci benar 1 P paling sedikit pada Ci salah

m

i 1

i 1

1 P Ci salah 1 1 P Ci benar
1 1 2

 Interval konfiden t untuk i

s
s
x1 - tn1 i 11 1 x1 tn 1 i 11
2 n
2 n

dengan i

Konfiden Simultan Bonferroni

Untuk m=p, diperoleh
s11
s11
x1 - t n-1
1 x1 + t n-1

2
p
n
2
p

n
s22
s22
x2 - tn-1
2 x2 + t n-1

2
p
n
2
p

n
s pp
s pp
x p - t n-1
p x2 + t n-1

2
p
n
2
p

Konfiden Simultan Bonferroni

Contoh :
Untuk contoh 5.3

Konfiden Simultan Bonferroni

Ukuran Sampel Besar

Untuk ukuran sampel besar atau (n-p) cukup besar
berlaku
n 1 p F
dan 2 sama secara aproksimasi.
p ,n p
n p

Sehingga nilai kritis statistik penguji

T n X 0 S -1 X 0
t

untuk pengujian H0 : 0 lawan

Tolak

H0

pada taraf nyata

H1 : 0

jika

T n X 0 S -1 X 0 p2
2

adalah p2

Ukuran Sampel Besar

Hasil lainnya, selang kepercayaan

a t x - p2 a t Sa , a t x + p2 a t Sa

akan memuat a t dengan probabilitas 1

secara aproksimasi .

Ukuran Sampel Besar

Kecepatan Konvergensi
p =2

alpha=5%

(n-1)pFp,n-p/(n-p)

alpha =1%

Chi2p

(n-1)pFp,n-p/(n-p)

Chi2p

25.47225199

5.991465

82.1773876

9.21034

10

10.03268274

5.991465

19.46049894

9.21034

15

8.196602083

5.991465

14.43284669

9.21034

20

7.504065085

5.991465

12.69391021

9.21034

30

6.919370085

5.991465

11.29536934

9.21034

50

6.514401644

5.991465

10.36485527

9.21034

100

6.241450986

5.991465

9.755573057

9.21034

1000

6.015506913

5.991465

9.262243116

9.21034

2000

6.00346016

5.991465

9.236222272

9.21034

5000

5.996256675

5.991465

9.220676523

9.21034

10000

5.993859593

5.991465

9.215505685

9.21034

20000

5.992661816

5.991465

9.212922338

9.21034