Covarianza

En teoría de probabilidad y estadística , la covarianza entre dos variables aleatorias es un número que permite cuantificar sus desviaciones conjuntas de sus respectivas expectativas . También se utiliza para dos series de datos numéricos (desviaciones de las medias ). La covarianza de dos variables aleatorias independientes es cero, aunque lo contrario no siempre es cierto.

La covarianza es una extensión de la noción de varianza . La correlación es una forma de covarianza normalizada (la dimensión de la covarianza entre las dos variables es el producto de sus dimensiones, mientras que la correlación es una variable adimensional ).

Este concepto se generaliza naturalmente a varias variables ( vector aleatorio ) mediante la matriz de covarianza (o matriz de varianza-covarianza ) que, para un conjunto de p variables aleatorias reales X 1 , etc., X p es la matriz cuadrada cuyo l 'elemento de la fila iy la columna j es la covarianza de las variables X i y X j . Esta matriz permite cuantificar la variación de cada variable frente a cada una de las demás. La forma normalizada de la matriz de covarianza es la matriz de correlación .

Por ejemplo, la dispersión de un conjunto de puntos al azar en un espacio de dos dimensiones no puede ser totalmente caracterizado por un único número, ni por las varianzas en las x y Y direcciones solos  ; una matriz de 2 × 2 permite comprender completamente la naturaleza bidimensional de las variaciones.

La matriz de covarianza de ser un semi-positiva definida matriz , se puede diagonalizar y el estudio de los valores propios y los vectores propios hace que sea posible para caracterizar la distribución utilizando una base ortogonal  : este enfoque es el objeto de la análisis de componentes principales que puede ser visto como una tipo de compresión de información.

Definición de covarianza

La covarianza de dos variables aleatorias reales X e Y, cada una con una varianza (finita), denominada Cov ( X, Y ) o, a veces, σ XY , es el valor:

Definición  - Cov⁡(X,Y)≡mi⁡[(X-mi⁡[X])(Y-mi⁡[Y])]{\ Displaystyle \ operatorname {Cov} (X, Y) \ equiv \ operatorname {E} [(X- \ operatorname {E} [X]) \, (Y- \ operatorname {E} [Y])]}

donde denota la expectativa matemática . Por tanto, la varianza de X es Var ( X ) = Cov ( X , X ). mi⁡[] {\ Displaystyle \ operatorname {E} [] \}

Intuitivamente, la covarianza caracteriza las variaciones simultáneas de dos variables aleatorias: será positiva cuando las diferencias entre las variables y sus medias tiendan a ser del mismo signo, negativa en caso contrario.

Según su expresión de definición, la dimensión de la covarianza es el producto de las dimensiones de las variables. Por otro lado, la correlación , que se expresa mediante la varianza y la covarianza, toma sus valores en [-1, 1] y permanece adimensional.

Se dice que dos variables aleatorias cuya covarianza es cero no están correlacionadas: su correlación también es cero.

Para dos variables aleatorias discretas X e Y tomando sus valores respectivamente en dos conjuntos finitos y tenemos  {XI|1≤I≤no},{\ Displaystyle \ \ {x_ {i} \, | \, 1 \ leq i \ leq n \},} {yj|1≤j≤metro},{\ Displaystyle \ \ {y_ {j} \, | \, 1 \ leq j \ leq m \},}

Cov⁡(X,Y)=∑I=1no∑j=1metroXIyjPAG⁡(X=XI y Y=yj)-mi⁡[X]mi⁡[Y].{\ Displaystyle \ operatorname {Cov} (X, Y) = \ sum _ {i = 1} ^ {n} \ sum _ {j = 1} ^ {m} \, x_ {i} y_ {j} \ operatorname {P} (X = x_ {i} \ {\ textrm {y}} \ Y = y_ {j}) - \ operatorname {E} [X] \ operatorname {E} [Y].}

mientras que:

σX2=∑I=1noXI2PAG⁡(X=XI)-mi⁡[X]2yσY2=∑j=1metroyj2PAG⁡(Y=yj)-mi⁡[Y]2.{\ Displaystyle \ sigma _ {X} ^ {2} = \ sum _ {i = 1} ^ {n} x_ {i} ^ {2} \ operatorname {P} (X = x_ {i}) - \ operatorname {E} [X] ^ {2} \ quad {\ textrm {y}} \ quad \ sigma _ {Y} ^ {2} = \ sum _ {j = 1} ^ {m} y_ {j} ^ { 2} \ operatorname {P} (Y = y_ {j}) - \ operatorname {E} [Y] ^ {2}.}

Definición de la matriz de covarianza

La matriz de covarianza de un vector de p variables aleatorias , cada una de las cuales tiene una varianza, es la matriz cuadrada cuyo término genérico está dado por X→=(X1⋮Xpag){\ Displaystyle {\ vec {X}} = {\ begin {pmatrix} X_ {1} \\\ vdots \\ X_ {p} \ end {pmatrix}}}

aI,j=Cov(XI,Xj){\ Displaystyle a_ {i, j} = {\ textrm {Cov}} \ left (X_ {i}, X_ {j} \ right)}

La matriz de covarianza, a veces notada , se define por Σ{\ displaystyle {\ boldsymbol {\ Sigma}}}

Definición  - Var⁡(X→)≡mi⁡[(X→-mi⁡(X→))(X→-mi⁡(X→))T]{\ Displaystyle \ operatorname {Var} ({\ vec {X}}) \ equiv \ operatorname {E} [({\ vec {X}} - \ operatorname {E} ({\ vec {X}})) ( {\ vec {X}} - \ operatorname {E} ({\ vec {X}})) ^ {T}]}

Ampliando los términos:

Var⁡(X→)=(Var⁡(X1)Cov⁡(X1,X2)⋯Cov⁡(X1,Xpag)Cov⁡(X2,X1)⋱⋯⋮⋮⋮⋱⋮Cov⁡(Xpag,X1)⋯⋯Var⁡(Xpag))=(σX12σX1X2⋯σX1XpagσX2X1⋱⋯⋮⋮⋮⋱⋮σXpagX1⋯⋯σXpag2){\ Displaystyle \ operatorname {Var} ({\ vec {X}}) = {\ begin {pmatrix} \ operatorname {Var} (X_ {1}) & \ operatorname {Cov} (X_ {1}, X_ {2 }) & \ cdots & \ operatorname {Cov} (X_ {1}, X_ {p}) \\\ operatorname {Cov} (X_ {2}, X_ {1}) & \ ddots & \ cdots & \ vdots \ \\ vdots & \ vdots & \ ddots & \ vdots \\\ operatorname {Cov} (X_ {p}, X_ {1}) & \ cdots & \ cdots & \ operatorname {Var} (X_ {p}) \ end {pmatrix}} = {\ begin {pmatrix} \ sigma _ {x_ {1}} ^ {2} & \ sigma _ {x_ {1} x_ {2}} & \ cdots & \ sigma _ {x_ {1} x_ {p}} \\\ sigma _ {x_ {2} x_ {1}} & \ ddots & \ cdots & \ vdots \\\ vdots & \ vdots & \ ddots & \ vdots \\\ sigma _ {x_ { p} x_ {1}} & \ cdots & \ cdots & \ sigma _ {x_ {p}} ^ {2} \ end {pmatrix}}}

Propiedades de covarianza

Una generalización del teorema de König-Huygens para la varianza implica:

Propiedad  - Cov⁡(X,Y)=mi⁡(XY)-mi⁡(X)mi⁡(Y){\ Displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {E} (XY) - \ operatorname {E} (X) \ operatorname {E} (Y)}

Corolario  :  si X e Y son independientes, entonces . Cov⁡(X,Y)=0{\ Displaystyle \ operatorname {Cov} (X, Y) = 0}

Por lo general, lo contrario no es cierto.

Contraejemplo

Basta encontrar dos variables X e Y con covarianza nula y que no sean independientes. Sea z una variable discreta que puede tomar los valores 1 o -1 de forma equiprobable (según una ley de Rademacher ).

Sea X cualquier variable aleatoria independiente de z . Entonces X e Y = z X claramente no son independientes. sin emabargo

Cov⁡(X,Y)=mi⁡(XY)-mi⁡(X)mi⁡(Y)=mi⁡(z)Var⁡(X)=0.{\ Displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {E} (XY) - \ operatorname {E} (X) \ operatorname {E} (Y) = \ operatorname {E} (z) \ operatorname {Var} (X) = 0.}

Propiedades  - 

• Cov⁡(X,X)=Var⁡(X){\ Displaystyle \ operatorname {Cov} (X, X) = \ operatorname {Var} (X)}
• Cov⁡(X,Y)=Cov⁡(Y,X){\ Displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {Cov} (Y, X)}
• Cov⁡(vsX,Y)=vsCov⁡(X,Y){\ Displaystyle \ operatorname {Cov} (cX, Y) = c \ operatorname {Cov} (X, Y)}donde c es una constante
• Cov⁡(X+vs,Y)=Cov⁡(X,Y){\ Displaystyle \ operatorname {Cov} (X + c, Y) = \ operatorname {Cov} (X, Y)}donde c es una constante
• Cov⁡(X+Y,Z)=Cov⁡(X,Z)+Cov⁡(Y,Z){\ Displaystyle \ operatorname {Cov} (X + Y, Z) = \ operatorname {Cov} (X, Z) + \ operatorname {Cov} (Y, Z)}donde X , Y y Z son tres variables

Bilinealidad de covarianza:

Propiedad  -  Cov⁡(∑IXI ,∑jYj)=∑I∑jCov⁡(XI,Yj){\ Displaystyle \ operatorname {Cov} \ left (\ sum _ {i} {X_ {i}} \, \ sum _ {j} {Y_ {j}} \ right) = \ sum _ {i} {\ sum _ {j} {\ operatorname {Cov} \ left (X_ {i}, Y_ {j} \ right)}}}

Esto refleja el hecho de que la covarianza es una forma bilineal simétrica positiva y que la forma cuadrática asociada es la varianza.

Corolario  -  Var⁡(aX+BY)=a2Var⁡(X)+B2Var⁡(Y)+2aBCov⁡(X,Y){\ Displaystyle \ operatorname {Var} (aX + bY) = a ^ {2} \ operatorname {Var} (X) + b ^ {2} \ operatorname {Var} (Y) + 2ab \ operatorname {Cov} (X , Y)}

Esta fórmula es análoga a . De hecho, la mayoría de las propiedades de la covarianza son análogas a las del producto de dos reales o del producto escalar de dos vectores.(X+y)2=X2+y2+2Xy{\ Displaystyle (x + y) ^ {2} = x ^ {2} + y ^ {2} + 2xy}

Propiedad  -  Var⁡(∑I=1noXI)=∑I=1noVar⁡(XI)+2∑1≤I<j≤noCov⁡(XI,Xj){\ Displaystyle \ operatorname {Var} \ left (\ sum _ {i = 1} ^ {n} {X_ {i}} \ right) = \ sum _ {i = 1} ^ {n} \ operatorname {Var} (X_ {i}) + 2 \ sum _ {1 \ leq i <j \ leq n} \ operatorname {Cov} (X_ {i}, X_ {j})}

Esta fórmula es clásica para una forma cuadrática asociada con una forma bilineal simétrica .

Propiedades de la matriz de covarianza

• La matriz de covarianza es simétrica  ; sus elementos diagonales son las varianzas y los elementos extradiagonales son las covarianzas de los pares de variables.
• La matriz de covarianza es semidefinida positiva (sus valores propios son positivos o cero). Es positivo definido (valores propios estrictamente positivos) si no existe una relación afín casi segura entre los componentes del vector aleatorio.
• Es un mapeo lineal de matriz . Sea un vector aleatorio con una matriz de covarianza de . Entonces el vector aleatorio tiene la matriz de covarianzaF{\ Displaystyle F}METROmetro,no(R){\ Displaystyle M_ {m, n} (R)}METRO{\ Displaystyle M}
  X→=(X1⋮Xno){\ Displaystyle {\ vec {X}} = {\ begin {pmatrix} X_ {1} \\\ vdots \\ X_ {n} \ end {pmatrix}}}VS{\ Displaystyle C}METROno(R){\ Displaystyle M_ {n} (R)}
  F(X){\ Displaystyle F (X)}METROVSMETROT.{\ Displaystyle M \, C \, M ^ {T}.}
• La inversa de la matriz de covarianza a veces se denomina "matriz de precisión".

Estimar

A partir de una muestra de realizaciones independientes de un vector aleatorio, un estimador insesgado de la matriz de covarianza viene dado por

Var^⁡(X→)=1no-1∑I=1no(X→I-X→¯)(X→I-X→¯)T{\ Displaystyle \ operatorname {\ widehat {Var}} ({\ vec {X}}) = {1 \ over {n-1}} \ sum _ {i = 1} ^ {n} ({\ vec {X }} _ {i} - {\ overline {\ vec {X}}}) ({\ vec {X}} _ {i} - {\ overline {\ vec {X}}}) ^ {T}}donde está el vector de medios empíricos.X→¯=1no∑I=1noX→I{\ Displaystyle {\ overline {\ vec {X}}} = {1 \ over {n}} \ sum _ {i = 1} ^ {n} {\ vec {X}} _ {i}}

El estimador de la covarianza de dos variables X e Y es solo un caso especial:

VSov^⁡(X,Y)=1no-1∑I=1no(XI-X¯)(YI-Y¯).{\ Displaystyle \ operatorname {\ widehat {Cov}} (X, Y) = {1 \ over {n-1}} \ sum _ {i = 1} ^ {n} (X_ {i} - {\ overline { X}}) (Y_ {i} - {\ overline {Y}}).}

Sin embargo, cuando X sigue una distribución normal multidimensional , el estimador de máxima verosimilitud es:

Var^⁡(X→)=1no∑I=1no(X→I-X→¯)(X→I-X→¯)T.{\ Displaystyle \ operatorname {\ widehat {Var}} ({\ vec {X}}) = {1 \ over n} \ sum _ {i = 1} ^ {n} ({\ vec {X}} _ { i} - {\ overline {\ vec {X}}}) ({\ vec {X}} _ {i} - {\ overline {\ vec {X}}}) ^ {T}.}

En el caso de que los datos se generen mediante una ley normal multidimensional, el estimador de máxima verosimilitud sigue una ley de Wishart .

La prueba de esfericidad de Bartlett para juzgar si los coeficientes extradiagonales de la matriz son generalmente inexistentes.

Para los procesos estocásticos que se ocupan de la evolución de una variable aleatoria, la covarianza da paso a los conceptos de autocovarianza y autocorrelación , y para estimar la densidad espectral para procesos estacionarios .

Ejemplos de

• En un foro de Internet, alguien afirma que la actividad del foro es más intensa en los días de luna llena. Es posible que no tengamos el calendario de luna llena, pero si esta afirmación es correcta y si nombramos N ( t ) el número de contribuciones en el día t , la covarianza acumulada entre N ( t ) y N ( t +29) sobre todos los valores De t , probablemente será mayor que las covarianzas entre N ( t ) y N ( t + x ) para valores de x distintos de 29 ( período sinódico de la luna).
• Se dice que un proceso estocástico X t en un espacio métrico S es de covarianza isotrópica si su covarianza entre dos variables depende solo de la distancia entre los índices:

∃F:R+↦R,∀t,s∈S,Cov⁡(Xs,Xt)=F(‖s-t‖){\ Displaystyle \ existe f: \ mathbb {R} ^ {+} \ mapsto \ mathbb {R}, \ forall t, s \ in S, \ operatorname {Cov} \ left (X_ {s}, X_ {t} \ right) = f \ left (\ left \ | st \ right \ | \ right)} Si X es un proceso isotrópico centrado en ℝ d , la autocorrelación isotrópica satisface ρ (‖ h ‖) ≥  −1 ⁄ d .

Uso en estadísticas

La matriz de covarianza es una herramienta esencial para el análisis multivariado  :

• el PCA que opera la diagonalización de esta matriz;
• el análisis discriminante que se basa en el examen de los coeficientes de esta matriz.

Otras aplicaciones

El conocimiento de las covarianzas suele ser esencial en las funciones de estimación , filtrado y suavizado . En fotografía , permiten alcanzar el enfoque dramáticamente borroso correcto y el desenfoque de movimiento, lo cual es extremadamente importante para las imágenes astronómicas. También se utilizan automáticamente . En sociolingüística , la covarianza designa la correspondencia entre la pertenencia a una determinada clase social y un determinado lenguaje inherente a esta condición social. Las matrices de covarianza se utilizan para métodos de análisis de descomposición ortogonal de kriging y valor propio . Finalmente, todavía se usa en finanzas para juzgar si dos inversiones tienden a evolucionar en la misma dirección, en direcciones opuestas, o si sus valores no están vinculados.

Ver también

• Ley normal multidimensional
• Autocovarianza
• Matriz de correlación
• Análisis de componentes principales
• Covarianza de Matérn
• Mesa de contingencia

Notas y referencias

1. Se supone que las variables pertenecen al espacio vectorial de variables aleatorias integrables cuadradas.L2(Ω,B,PAG){\ Displaystyle L ^ {2} (\ Omega, {\ mathcal {B}}, \ operatorname {P})}