Variables estadísticas, distribuciones conjuntas,

marginales y condicionales

Mike Wiper
Departamento de Estadística
Universidad Carlos III de Madrid

Grado en Estadística y Empresa

Mike Wiper Métodos bayesianos Estadística y Empresa 1 / 24

Objetivo

Refamiliarizarnos con las variables estadísticas y la ley de la probabilidad total y el

teorema de Bayes para variables

Mike Wiper Métodos bayesianos Estadística y Empresa 2 / 24

Variables aleatorias

Una variable aleatoria es una función que ascribe un valor (numérico) al resultado
de un experimento.

Mike Wiper Métodos bayesianos Estadística y Empresa 3 / 24

Variables discretas

Para una variable discreta, X , tomando valores x1 , x2 , ... se denen:

La o masa P(X = x) tal que P(X = xi ) = 1.

P
función de probabilidad
i
La función de distribución FX (x) tal que:
X
FX (x) = P(X ≤ x) = P(X = xi ).
xi <x

Los : E [g (X )] = g (xi )P(X = xi ).

P
momentos
i

Mike Wiper Métodos bayesianos Estadística y Empresa 4 / 24

Ejemplo: la distribución de Poisson

Una variable discreta, X , sigue una distribución de Poisson con parámetro λ > 0 si
λx e −λ
P(X = x) = para x = 0, 1, 2, ...
x!

Se tiene E [X ] = V [X ] = λ.

Mike Wiper Métodos bayesianos Estadística y Empresa 5 / 24

Variables continuas

Para una variable continua, Y , tomando valores x ∈ R, se tiene:

La función de distribución FY (y ) tal que:

FY (y ) = P(Y ≤ y ).

La función de densidad fY (y ) = dF (y )
dy tal que
Z y
fY (y ) dy = FY (y ).
−∞
R∞
Momentos: E [g (Y )] = −∞
g (y )fY (y ) dy .

Mike Wiper Métodos bayesianos Estadística y Empresa 6 / 24

Ejemplo: la distribución gamma

La variable continua, Y sigue una distribución gamma con parámetros α, β > 0 si

β α α−1 −βy
fY (y ) = y e para y > 0
Γ(α)

donde Γ(·) es la función gamma:

u α−1 e −u du .
R∞
Γ(α) = 0
Γ(α + 1) = αΓ(α) y Γ(α) = (α − 1)! si α es un número entero.

α α
E [Y ] = V [Y ] = .
β β2

Mike Wiper Métodos bayesianos Estadística y Empresa 7 / 24

Distribuciones conjuntas

Para dos (o más) variables discretas, la distribución conjunta es la función

P(X = x, Y = y ) tal que

1,
XX
P(X = x, Y = y ) =
x y
X
P(X = x, Y = y ) = P(Y = y ), la distribución marginal de Y,
x

la distribución marginal de X .
X
P(X = x, Y = y ) = P(X = x),
y

En el caso de variables continuas, sustituimos sus respectivos sumatorios por

integrales.

Mike Wiper Métodos bayesianos Estadística y Empresa 8 / 24

Ejemplo

Sea Y > 0 una variable continua y X ∈ {0, 1, 2, ..., ∞} una variable discreta y
denimos la distribución conjunta de X e Y :

β α y α+x−1 e −(β+1)y
fX ,Y (x, y ) = , donde α, β > 0.
Γ(α) x!

¾Cómo sabemos que es una distribución válida?

Mike Wiper Métodos bayesianos Estadística y Empresa 9 / 24

Ejemplo

Sea Y > 0 una variable continua y X ∈ {0, 1, 2, ..., ∞} una variable discreta y
denimos la distribución conjunta de X e Y :

β α y α+x−1 e −(β+1)y
fX ,Y (x, y ) = , donde α, β > 0.
Γ(α) x!

¾Cómo sabemos que es una distribución válida?

¾Es no negativa? X
Si sumamos sobre x e integramos sobre y , tiene que dar 1.

Mike Wiper Métodos bayesianos Estadística y Empresa 9 / 24

Distribuciones condicionales

La distribución condicional de una variable (discreta) X dada otra variable

(discreta) Y es:
P(X = x, Y = y )
P(X = x|Y = y ) = ,
P(Y = y )
suponiendo que P(Y = y ) > 0.
La esperanza condicional de una función g (x, y ) es
X
E [g (x, y )|Y = y ] = g (x, y )P(X = x|Y = y ).
x

Mike Wiper Métodos bayesianos Estadística y Empresa 10 / 24

Ejemplo

Sea Y ∼ Gamma(α, β) y X |Y = y ∼ Poisson(y ). Luego, por la ley de la

multiplicación:

fX ,Y (x, y ) = P(X = x|Y = y )fY (y )

y x e −y β α α−1 −βy
= y e
x! Γ(α)
β α y α+x−1 e −(β+1)y
= ,
Γ(α) x!

nuestra distribución conjunta anterior.

Mike Wiper Métodos bayesianos Estadística y Empresa 11 / 24

La media y varianza marginal

Supongamos que en nuestro ejemplo, queremos calcular E [X ] y V [X ].

Suena complicado porqué en principio, tendríamos que evaluar la distribución
marginal de X primero o computar a través de la distribución conjunta. Por
ejemplo: Z
X ∞
E [X ] = xfX ,Y (x, y ) dy .
x ∞

¾Existe una manera más fácil de hacer el cálculo?

Mike Wiper Métodos bayesianos Estadística y Empresa 12 / 24

La ley de las esperanzas iteradas

Para dos variables X e Y , la ley de las esperanzas iteradas dice que

E [X ] = E [E [X |Y ]].
Demostración

Existe otra descomposición semejante para la varianza:

V [X ] = E [V [X |Y ]] + V [E [X |Y ]].
Demostración

Mike Wiper Métodos bayesianos Estadística y Empresa 13 / 24

Ejemplo

Sea X |Y = y ∼ Poisson(y ) con Y ∼ Gamma(α, β). Calculamos la media y

varianza de X .

Mike Wiper Métodos bayesianos Estadística y Empresa 14 / 24

Ejemplo

Sea X |Y = y ∼ Poisson(y ) con Y ∼ Gamma(α, β). Calculamos la media y

varianza de X .

E [X ] = E [E [X |Y ]]
= E [Y ] ¾Por qué?

Mike Wiper Métodos bayesianos Estadística y Empresa 14 / 24

Ejemplo

Sea X |Y = y ∼ Poisson(y ) con Y ∼ Gamma(α, β). Calculamos la media y

varianza de X .

E [X ] = E [E [X |Y ]]
= E [Y ] ¾Por qué?
α
=
β

Mike Wiper Métodos bayesianos Estadística y Empresa 14 / 24

Ejemplo

Sea X |Y = y ∼ Poisson(y ) con Y ∼ Gamma(α, β). Calculamos la media y

varianza de X .

E [X ] = E [E [X |Y ]]
= E [Y ] ¾Por qué?
α
=
β
V [X ] = E [V [X |Y ]] + V [E [X |Y ]]
= E [Y ] + V [Y ]
α α
= + 2
β β
α(1 + β)
=
β2

Mike Wiper Métodos bayesianos Estadística y Empresa 14 / 24

La ley de la probabilidad total para variables

P(X = x|Y = y )P(Y = y ) si Y es discreta,

X
P(X = x) =
y
Z ∞
P(X = x) = P(X = x|Y = y )fY (y ) dx si Y es continua.
−∞

El segundo caso es más interesante en la mayoría de aplicaciones.

Mike Wiper Métodos bayesianos Estadística y Empresa 15 / 24

Ejemplo

Sea X |Y ∼ Poisson(Y ) con Y ∼ Gamma(α, β). Calculamos la distribución

marginal de X .

Z
P(X = x) = P(X = x|Y = y )fY (y ) dy
∞
y x e −y β α α−1 −βy
Z
= y e dy
0 x! Γ(α)
∞
βα
Z
= y α+x−1 e −(β+1)y dy
Γ(α)x! 0

¾El integrando parece a una fórmula que hemos visto?

Mike Wiper Métodos bayesianos Estadística y Empresa 16 / 24

Ejemplo

∞
βα
Z
∗
−1 −β ∗ y
P(X = x) = yα e dy
Γ(α)x! 0
donde α∗ = α + x , β ∗ = β + 1.

Mike Wiper Métodos bayesianos Estadística y Empresa 17 / 24

Ejemplo

∞
βα
Z
∗
−1 −β ∗ y
P(X = x) = yα e dy
Γ(α)x! 0
donde α∗ = α + x , β ∗ = β + 1.
El integrando es otra distribución gamma sin su constante de integración.

Mike Wiper Métodos bayesianos Estadística y Empresa 17 / 24

Ejemplo

∞
βα
Z
∗
−1 −β ∗ y
P(X = x) = yα e dy
Γ(α)x! 0
donde α∗ = α + x , β ∗ = β + 1.
El integrando es otra distribución gamma sin su constante de integración.

∗
β α Γ(α∗ ) ∞ β ∗ α α∗ −1 −β ∗ x
Z
P(X = x) = ∗ x e dy
Γ(α)x! β ∗ α 0 Γ(α∗ )
Γ(α∗ ) β α
= ∗
Γ(α)x! β ∗ α
1 1 x
 α
Γ(α + x)
= 1− para x = 0, 1, 2, ...
Γ(α)x! β+1 β+1

que es una distribución binomial negativa . DBN

Mike Wiper Métodos bayesianos Estadística y Empresa 17 / 24

El teorema de Bayes para variables

P(X = x|Y = y )P(Y = y )

P(Y = y |X = x) =
P(X = x)
P(X = x|Y = y )P(Y = y )
= P
i P(X = x|Y = yi )P(Y = yi )
P(X = x|Y = y )fY (Y = y )
fY |X (y |X = x) =
P(X = x)
P(X = x|Y = y )fY (Y = y )
= R∞
−∞
P(X = x|Y = y )fY (y ) dy

Mike Wiper Métodos bayesianos Estadística y Empresa 18 / 24

Ejemplo

En nuestro ejemplo:
P(X = x|Y = y )fY (Y = y )
fY |X (y |x) =
P(X = x)
y x e −y β α α−1 −βy
x! Γ(α) y e
= x
β α

Γ(α+x)
Γ(α)x! 1 − β+
β
1 β+1

(β + 1)α+x α+x−1 −(β+1)y

= y e
Γ(α + x)

¾Qué distribución es?

Mike Wiper Métodos bayesianos Estadística y Empresa 19 / 24

Ejemplo

En nuestro ejemplo:
P(X = x|Y = y )fY (Y = y )
fY |X (y |x) =
P(X = x)
y x e −y β α α−1 −βy
x! Γ(α) y e
= x
β α

Γ(α+x)
Γ(α)x! 1 − β+
β
1 β+1

(β + 1)α+x α+x−1 −(β+1)y

= y e
Γ(α + x)

¾Qué distribución es?

Y |X = x ∼ Gamma(α + x, β + 1).

Mike Wiper Métodos bayesianos Estadística y Empresa 19 / 24

Resumen y siguiente sesión

En esta sección hemos repasado algunos de los cálculos necesarios para evaluar
distribuciones conjuntas, condicionales y marginales.

En la siguiente sesión vamos a recordar las características de la inferencia

frecuentista.

Mike Wiper Métodos bayesianos Estadística y Empresa 20 / 24

Apéndice: demostración de la ley de esperanzas
iteradas

Supongamos que X e Y son continuas. Entonces:

Z
E [X ] = xfX (x) dx
Z Z
= x fX ,Y (x, y ) dy dx
Z Z
= xfX |Y (x|y )fY (y ) dy dx
Z Z 
= xfX |Y (x|y ) dx fY (y ) dy
Z
= E [X |Y = y ]fY (y ) dy

= E [E [X |Y ]]

Mike Wiper Métodos bayesianos Estadística y Empresa 21 / 24

Apéndice: demostración de descomposición de la
varianza

Supongamos que X e Y son continuas. Entonces:

Z
V [X ] = (x − E [X ])2 fX (x) dx
Z Z
= (x − E [X ])2 fX |Y (x|y )fY (y ) dy dx
Z Z 
= (x − E [X |y ] + E [X |y ] − E [X ])2 fX |Y (x|y ) dx fY (y ) dy
Z Z 
= (x − E [X |y ])2 fX |Y (x|y ) dx f (y ) dy
Z Z 
+2 (x − E [X |y ])(E [X |y ] − E [X ])fX |Y (x|y ) dx fY (y ) dy
Z Z 
+ (E [X |y ] − E [X ])2 fX |Y (x|y ) dx fY (y ) dy

Mike Wiper Métodos bayesianos Estadística y Empresa 22 / 24

 Z
V [X ] = V [X |y ]fY (y ) dy +
Z Z 
2 (E [X |y ] − E [X ]) (x − E [X |y ])fX |Y (x|y ) dx fY (y ) dy +
Z
(E [X |y ] − E [X ])2 fY (y ) dy
Z
= E [V [X |Y ]] + 0 + (E [X |y ] − E [E [X |Y ]])2 fY (y ) dy

= E [V [X |Y ]] + V [E [X |Y ]]

Mike Wiper Métodos bayesianos Estadística y Empresa 23 / 24

Apéndice: la distribución binomial negativa

Una variable discreta, X , sigue una distribución binomial negativa con parámetros
r > 0 y 0 < p < 1 si:

Γ(r + x)
P(X = x) = (1 − p)r p x para x = 0, 1, 2, ...
Γ(r )x!

Cuando r ∈ {0, 1, 2, ...} se tiene:

x +r −1
 
P(X = x) = (1 − p)r p x .
x

Se tiene E [X ] = r 1−p
p
y V [X ] = r (1−p)
p
2.

Mike Wiper Métodos bayesianos Estadística y Empresa 24 / 24