PROPIETATS I EINES

D
`
ALGEBRA MATRICIAL
PER ESTAD

ISTICA
Francesc Oliva
Esteban Vegas
Departament dEstadstica
October 5, 1994
1
Index
1 Resum de propietats d`algebra vectorial 1
2 Resum de propietats d`algebra matricial 3
3 Diagonalitzacio: valors propis i vectors propis 8
4 Descomposicio en valors singulars 11
5 Inversa Generalitzada 14
6 Algunes matrius dinteres per estadstica 17
7 Bibliograa 18
i
1 Resum de propietats d`algebra vectorial
1. Vectors i les seves operacions
(a) a =
_
_
_
_
_
a
1
a
2
. . .
a
n
_
_
_
_
_
= (a
1
a
2
. . . a
n
)

= (a
1
a
2
. . . a
n
) =
_
_
_
_
_
a
1
a
2
. . .
a
n
_
_
_
_
_

(b) A =
_
_
_
_
_
a
11
a
12
. . . a
1p
a
21
a
22
. . . a
2p
. . . . . . . . . . . .
a
n1
a
n2
. . . a
np
_
_
_
_
_
= (a
(1)
a
(2)
. . . a
(p)
) =
_
_
_
_
_
_
a

1
a

2
.
.
.
a

n
_
_
_
_
_
_
on
a
(j)
=
_
_
_
_
_
_
a
1j
a
2j
.
.
.
a
nj
_
_
_
_
_
_
a
i
=
_
_
_
_
_
_
a
i1
a
i2
.
.
.
a
ip
_
_
_
_
_
_
son respectivament els vectors columna i la de la matriu A
(c) vector nul: 0

= (0 0 . . . 0)
(d) vector unitat: 1

= (1 1 . . . 1)
(e) ka = ak = (ka
1
ka
2
. . . ka
n
)

(f) a b = (a
1
b
1
a
2
b
2
. . . a
n
b
n
)

(g) a

b = b

a =

n
i=1
a
i
b
1
(Escalar)
(h) ab

=
_
_
_
_
_
a
1
b
1
a
1
b
2
. . . a
1
b
n
a
2
b
1
a
2
b
2
. . . a
2
b
n
. . . . . . . . . . . .
a
n
b
1
a
n
b
2
. . . a
n
b
n
_
_
_
_
_
(Matriu)
(i) Si A es una matriu mn
Ax =
_
_
_
_
_
a
11
x
1
+ a
12
x
2
+ . . . + a
1n
x
n
a
21
x
1
+ a
22
x
2
+ . . . + a
2n
x
n
. . .
a
m1
x
1
+ a
m2
x
2
+ . . . + a
mn
x
n
_
_
_
_
_
(Vector)
1
(j) Norma o longitut dun vector (a):
||a|| =
_

a
2
i
=

a
(k) Vectors ortogonals (a, b):
a

b = b

a = 0
(l) Vectors ortonormals (a, b):
(l.1) Ortogonals: a

b = b

a = 0 i
(l.2) Norma igual a 1: ||a|| = ||b|| = 1
(m) Angle entre dos vectors a i b:
on el cos =
a

b
||a||||b||
, 0
(n) Projeccio (ortogonal) del vector a sobre el vector b:
P
ab
= ||a|| cos
(o) Combinaci o lineal de vectors (v
1
, v
2
, . . . , v
n
):
Un vector u es combinacio lineal (C.L.) dels vectors v
1
, v
2
, . . . , v
n
si u = p
1
v
1
+ p
2
v
2
+ . . . p
n
v
n
on p
1
, p
2
, . . . , p
n
son nombres reals
qualsevols.
(p) Vectors linealment independents (v
1
, v
2
, . . . , v
n
):
Si p
1
= p
2
= . . . = p
n
= 0 es l unic conjunt de valors que veri-
ca p
1
v
1
+ p
2
v
2
+ . . . p
n
v
n
= 0. En cas contrari, els vectors son
linealment dependents.
2
2 Resum de propietats d`algebra matricial
1. Alguns tipus de matrius
(a) Rectangular: A
np
, n = p
(b) Quadrada: A
pp
, tambe denominada com A
p
(c) Diagonal: D
p
= diag(a
11
a
22
. . . a
pp
) a
ij
= 0, i = j
(d) Identitat: I
p
= diag(1
p
) on 1
p
es el vector unitat de dimensio p
(e) Escalar: D
p
= diag(1
p
) on
(f) Sim`etrica: A
p
, a
ij
= a
ji
(g) Triangular superior: A
p
, a
ij
= 0 si i > j
(h) Triangular inferior: A
p
, a
ij
= 0 si i < j
(i) Unitat: J
p
= 11

, a
ij
= 1
(j) Nula: 0
np
, a
ij
= 0
2. Suma de matrius i multiplicaci o per escalars
(a) A+B = B+A
(b) A+ (B+C) = (A+B) +C
(c) kA = Ak
(d) k
1
(k
2
A) = (k
1
k
2
)A
(e) (k
1
+ k
2
)A = (k
1
A) + (k
2
A)
(f) A+0 = A
(g) A+ (A) = 0
3. Producte de matrius
(a) En general AB = BA encara que A i B siguin matrius quadrades.
(b) (AB)C = A(BC)
(c) A(B+C) = AB+AC (A+B)C = AC+BC
3
(d) A(kB) = (kA)B = k(AB)
(e) AB = AC NO implica B = C excepte si existeix A
1
(f) AB = 0 NO implica A = 0 o B = 0 excepte si existeix
A
1
o B
1
(g) A, B simetricas NO implica que AB sigui simetrica
4. Transposicio
(a) (A

= A
(b) (A+B)

= A

+B

(c) (kA)

= kA

(d) (ABC)

= C

(e) A es simetrica si A

= A
(f) AA

i A

A son simetricas
(g) Si A es cuadrada A+A

es simetrica
5. Traca (Suma dels elements situats en la diagonal principal duna ma-
triu quadrada)
(a) tr(AB) = tr(BA)
(b) tr(ABC) = tr(BCA) = tr(CAB)
(c) tr(rA+ sB) = r tr(A) + s tr(B)
6. Determinant
(a) Diem que A es singular si |A| = 0
(b) Si A

es la matriu obtinguda al intercanviar dues les (columnes)

qualsevols de A aleshores |A

| = |A|
(c) Si dues les (columnes) de A son proporcionals aleshores |A| = 0
(d) A

es la matriu obtinguda al multiplicar una la (columna) de

A per un escalar p aleshores |A

| = p |A|
4
(e) |A

| = |A|
(f) |pA| = p
n
|A|
(g) En general |A+B| = |A| +|B|
(h) |AB| = |A| |B| = |B| |A| = |BA|
(i) Si a una la (columna) de A sumem un altre la (columna) de A
multiplicada per un escalar, el determinant de la matriu resultant
es igual
7. Inversa
(a) Si A
1
existeix es unica
(b) (A
1
)
1
= A
(c) (A

)
1
= (A
1
)

(d) En general (A+B)

1
= A
1
+B
1
(e) (ABC)
1
= C
1
B
1
A
1
(f) Si A es simetrica tambe ho es A
1
8. Matrius ortogonals (A

= A
1
)
(a) AA

= A

A = I
(b) A

es ortogonal
(c) A
1
es ortogonal
(d) Si A i B son ortogonals, aleshores AB i BA son ortogonals
(e) |A| = 1
9. Matrius idempotents (AA = A)
(a) Si A es idempotent i Q es ortogonal del mateix ordre Q

AQ es
idempotent
(b) B = I A es idempotent
5
(c) Si A es idempotent i no singular, aleshores A = I
(d) Els valors propis son sempre 1 o 0.
10. Rang (nombre m`axim de les o columnes linealment independents)
(a) r(A

) = r(A)
(b) r(A+B) r(A) + r(B)
(c) r(AB) min{r(A), r(B)}
(d) Si A es cuadrada i es singular aleshores r(A) < n
(e) r(AB) = r(B) i r(CA) = r(C) si A es no singular
(f) r(ABC) = r(B) si A i C son no singulars
(g) Si A es no singular r(A
1
) = r(A)
(h) Si A es idempotent r(A) = tr(A)
11. Formes quadr`atiques (x

Ax)
(a) x

Ax es denida positiva (d.p.) si x

Ax > 0 per tot x = 0. Diem

aleshores que A es denida positiva.
(b) x

Ax es semidenida positiva (s.d.p.) si x

Ax 0 per tot x i
x

Ax = 0 per algun x = 0. Diem aleshores que A es semidenida

positiva.
(c) A es d.p. si els valors propis son positius
(d) A es s.d.p. si els valors propis son no negatius i al menys un dells
es zero.
(e) Tota matriu d.p. es no singular
(f) Tota matriu s.d.p. es singular
(g) La matriu identitat es d.p.
(h) Si A es d.p. aleshores tr(A) > 0
(i) Si A es d.p. aleshores tots els elements de la diagonal son positius
(j) Si A es d.p. i P es no singular P

AP es d.p. i reciprocament.
6
(k) Tota forma quadr`atica pot ser reduida a la forma

i
y
2
i
(i =
1, 2, ..., n)
(l) La matriu de vari` ancies-covari` ancies es simetrica i al menys
s.d.p.
7
3 Diagonalitzacio: valors propis i vectors pro-
pis
Sigui A una matriu quadrada delements reals dordre p. Diem que v es un
vector propi de A de valor propi si
Av = v
Els valors propis sobtenen solucionant lequacio
|AI| = 0
anomenada equacio caracterstica. Q() = |AI| es el polinomi o funcio
caracterstica i les p rels son per tant els valors propis. Si
i
es un valor propi,
el vector (o vectors) propi associat sobte al resoldre el sistema dequacions
(A
i
I)v
i
= 0 amb la condicio v

i
v
i
= 1 si es vol estandaritzat.
La matriu A es aleshores diagonalitzable si pot expressar-se mitjancant la
descomposicio
A = VDV
1
o el que es equivalent D = V
1
AV, essent D = diag(
1
, ...,
p
) i V =
(v
1
, ..., v
p
).
Atencio: alguns valors propis poden repetir-se o ser zero. A mes
alguns valors propis o components dels vectors propis poden ser
complexes.
Dues propietats molt importants son:
tr(A) = tr(D) =

p
i=1

i
|A| = |D| =

p
i=1

i
8
Si A es simetrica aleshores sempre es diagonalitzable ortogonalment, es a dir,
A = TDT

on T es ortogonal. A mes es compleixen les seg uents propietats

els valors propis i els vectors propis son sempre reals
si A no es singular aleshores per qualsevol sencer n
A
n
= TD
n
T

essent D
n
= diag(
n
i
). Si tots els valors propis son positius podem
denir les potencies
A
r/s
= TD
r/s
T

per r, sZ, s > 0. Si hi han valors propis iguals a zero aleshores encara
poden denir-se les potencies dexponents no negatius.
Exemples
1. Sigui la matriu
A =
_
_
_
8 1 6
3 5 7
4 9 2
_
_
_
Lequacio caracterstica es
|AI| =

(8 ) 1 6
3 (5 ) 7
4 9 (2 )

=
3
15
2
24 + 360 = 0
Les solucions (valors propis) son
1
= 15,
2
= 4.899,
3
= 4.899.
La matriu de vectors propis es
V = (v
1
v
2
v
3
) =
_
_
_
.5774 .8131 .3624
.5774 .4714 .5000
.5774 .3416 .8624
_
_
_
9
2. Sigui la matriu simetrica
A =
_
_
_
10 7 9
7 6 8
9 8 13
_
_
_
Lequacio caracterstica es
|AI| =

(10 ) 7 9
7 (6 ) 8
9 8 (13 )

=
3
29
2
+74 25 = 0
Els valors propis son
1
= 26.2134,
2
= 2.3871,
3
= 0.3995.
La matriu de vectors propis es
V = (v
1
v
2
v
3
) =
_
_
_
.5746 .7361 .3578
.4654 .0657 .8826
.6732 .6737 .3048
_
_
_
10
4 Descomposicio en valors singulars
Si A es una matriu dordre np i rang r, A pot ser expressada mitjancant
la descomposicio
A = UV

(1)
on U(nr) i V(pr) son matrius de vectors columna ortonormals (U

U =
V

V = I
r
) i (rr) es una matriu diagonal delements positius anomenats
valors singulars.
En efecte, com A

A es simetrica i de rang r podem utilitzar la descomposicio

espectral
A

A = VV

on = diag(
1
, . . . ,
r
) conte els valors propis diferents de zero i V(p r)
els vectors propis associats. Cal esmentar que
i
>0, i=1, . . . , r donat que

i
= v

(i)
A

Av
(i)
=
_
_
_Av
(i)
_
_
_
2
> 0. Observem aleshores que si (1) es certa
A

A = VU

UV

= V
2
V

i per tant = diag(

1
, . . . ,

r
).
Aix mateix donat que AA

tambe es simetrica i de rang r pot ser expressada

mitjancant la descomposicio
AA

= UU

on U(n r) conte els vectors propis associats a

1
, . . . ,
r
(els valors propis
diferents de zero de A

A i AA

son iguals i tenen la mateixa multiplicitat).

Considerant (1)
AA

= UV

VU

= U
2
U

i per tant es sempre possible trobar la descomposicio en valors singulars duna

matriu A(n p) qualsevol.
Dues relacions importants son
ranA = ran = r
11
Si A es semidenida positiva els valors singulars son els valors propis
positius i U = V.
Procediment per realitzar la descomposicio
Sigui A(np), n p
1. Calcular la matriu simetrica A

A.
2. Diagonalitzar A

A. es la matriu diagonal formada per la rel qua-

drada dels valors propis positius i V es la matriu de vectors propis
associats.
3. Calcular U = AV
1
Si n < p pot aplicar-se el mateix procediment a A

i transposar el resultat.
Exemple
Sigui la matriu
A =
_
_
_
6 10
10 6
1 5
_
_
_
Aleshores
A

A =
_
137 125
125 161
_
Diagonalitzant la matriu A

Aobtenim els valors propis

1
= 274.5747 i
2
=
23.4253. La matriu V estar`a formada pels vectors propis associats
V =
_
v
(1)
v
(2)
_
=
_
.6725 .7401
.7401 .6725
_
12
= diag(

274.5747,

23.4253) =
_
16.5703 0
0 4.8400
_
Finalment
U = AV
1
=
_
_
_
.6902 .4719
.6738 .6955
.2639 .5418
_
_
_
13
5 Inversa Generalitzada
Sigui A una matriu n p, A

es una g-inversa (tambe anomenada inversa

generalitzada o seudoinversa) dA si
AA

A = A
Una g-inversa sempre existeix encara que en general no es unica.
Metodes per trobar-les
1. Utilitzan el teorema de descomposicio en valors singulars per A
np
, es
a dir, A = UV

. La g-inversa sobtendria com:

A

= V
1
U

2. Si r(A) = r, reordenant les les i columnes d A

np
i fent una particio
dA tal que A
11
sigui una matriu no singular dordre r r. Es verica
que
A

=
_
A
1
11
0
0 0
_
es una g-inversa.
3. Si A
pp
es no singular aleshores A

= A
1
i es unica.
4. Si A
pp
es simetrica de rang r, aleshores A es diagonalitzable ortogo-
nalment, es a dir, A = T D T on T es la matriu dels vectors propis
ortonormals posats en columna corresponents als valors propis diferents
de zero D = diag(
1
,
2
, . . . ,
r
). Llavors obtenim una g-inversa com
A

= TD
1
T

14
Inversa de Moore-Penrose o Pseudoinversa
Es aquella matriu, A
+
, que cumpleix la condicio dinversa generalitzada i
a mes les seg uents propietats:
AA
+
A = A, AA
+
i A
+
A son simetriques, A
+
AA
+
= A
+
Linversa de Moore-Penrose es unica i sobte a partir de la descomposicio en
valors singulars (veure metode 1) i coincideix amb la matriu inversa si A es
quadrada i no singular.
Exemple
Sigui la matriu
A =
_
_
_
6 10
10 6
1 5
_
_
_
1) Pel teorema de descomposicio en valors singulars, A = UV

(ver exem-
ple daquesta seccio), obtenim:
A =
_
_
_
.6902 .4719
.6738 .6955
.2639 .5418
_
_
_
_
16.5703 0
0 4.8400
__
.6725 .7401
.7401 .6725
_
Aleshores, A
+
= A

= V
1
U

queda com
A
+
=
_
.6725 .7401
.7401 .6725
__
1/16.5703 0
0 1/4.8400
__
.6902 .6738 .2639
.4719 .6955 .5418
_
Aquesta inversa es la de Moore-Penrose i es unica.
2) Agafant una particio de A, A
11
, que sigui una matriu no singular cua-
drada r r, amb r(A) = r.
Aix, una possible A
11
seria:
A
11
=
_
6 10
10 6
_
15
i la seva inversa,
A
1
11
=
_
.0938 .1563
.1563 .0938
_
Aleshores, la g-inversa queda com
A

=
_
.0938 .1563 0
.1563 .0938 0
_
16
6 Algunes matrius dinteres per estadstica
1. Matrius projectores:
Son matrius simetriques i idempotents.
(a) Matriu Centradora de dades (H):
H = H
n
= I
n
n
1
J
n
Propietats:
i. H1

= 0, HJ = JH = 0
n
ii. Hx = x x1, on x = n
1

x
i
iii. x

Hx = n
1

(x
i
x)
2
(b) Matriu Projectora en el Model Lineal (P):
P = P
n
= X(X

X)
1
X

on X es la matriu de dades n p (n individus i p variables)

2. Vector de mitjanes ( x):
x = n
1
X

1
3. Matriu Vari`ancies-Covari`ancies (

):

p
= (n 1)
1
[X

Xn
1
(X

1)(1

X)] = (n 1)
1
X

HX
Propietats:
(a)

(b)

es semidenida positiva.
4. Matriu de Correlacions (R):
R = R
p
= D
1/2

D
1/2
on D = diag(

)
Propietats:
(a) R

= R
(b) R es semidenida positiva.
17
7 Bibliograa
AMON, J. (1991).Introduccion al Analisis Multivariante (Calculo matri-
cial). Coleccion Avances Metodologicos en Psicologa n 2, ed. PPU, Barce-
lona.
GRAYBILL, F. (1969).Introduction to Matrices with Applications in Sta-
tistics. Wadsworth, Belmont.
GREEN, E. & CARROLL D. (1976).Mathematical Tools for Applied Mul-
tivariate Analysis. Academic Press, London.
18