Descomposición en valores singulares

En álgebra lineal, la descomposición en valores singulares (o DVS) de una matriz real o compleja es una factorización de la misma con muchas aplicaciones en estadística y otras disciplinas.

Definiciones previas

Dada una matriz real ${\displaystyle A\in {\mathcal {M}}_{m\times n}(\mathbb {R} )}$, los valores propios de la matriz cuadrada, simétrica y semidefinida positiva ${\displaystyle A^{T}A\in {\mathcal {M}}_{n}(\mathbb {R} )}$ son siempre reales y mayores o iguales a cero. Teniendo en cuenta el producto escalar estándar vemos que:

${\displaystyle (A^{T}A)^{T}=A^{T}(A^{T})^{T}=A^{T}A}$, o sea que es simétrica.

${\displaystyle \langle x,A^{T}Ax\rangle =x^{T}A^{T}Ax=(Ax)^{T}Ax=\|Ax\|^{2}\geq 0}$, es decir ${\displaystyle A^{T}A}$ es semidefinida positiva.

Por ser ${\displaystyle A^{T}A}$ una matriz real simétrica, todos sus valores propios son reales —en particular, como es semidefinida positiva, son todos mayores o iguales a cero—. Ver demostración.

Definición

Sean ${\displaystyle \lambda _{1}\geq \lambda _{2}\geq \cdots \geq \lambda _{n}\geq 0}$ los valores propios de la matriz ${\displaystyle A^{T}A}$ ordenados de mayor a menor. Entonces ${\displaystyle \sigma _{i}:={\sqrt {\lambda _{i}}}}$ es el ${\displaystyle i}$-ésimo valor singular de la matriz ${\displaystyle A}$.

Teorema

Sea ${\displaystyle A\in {\mathcal {M}}_{m\times n}(\mathbb {R} )}$ y ${\displaystyle \lambda _{1}\geq \cdots \geq \lambda _{r}>\lambda _{r+1}=\cdots =\lambda _{n}=0}$ los valores propios de ${\displaystyle A^{T}A}$. Es decir, los primeros ${\displaystyle r}$ valores propios no nulos, ordenados de manera decreciente, y los ${\displaystyle n-r}$ valores propios nulos.

Sea ${\displaystyle (v_{1},\ldots ,v_{n})}$ una base ortonormal de ${\displaystyle \mathbb {R} ^{n}\,}$ formada por valores propios de ${\displaystyle A^{T}A}$ —que existe por el teorema espectral—. Entonces:

1. Los vectores ${\displaystyle Av_{1},\ldots ,Av_{r}}$ son ortogonales dos a dos y ${\displaystyle \|Av_{i}\|={\sqrt {\lambda _{i}}}=\sigma _{i}}$.
2. ${\displaystyle {\big (}{\tfrac {1}{\sigma _{1}}}Av_{1},\ldots ,{\tfrac {1}{\sigma _{r}}}Av_{r}{\big )}}$ es una base ortonormal del subespacio fundamental ${\displaystyle \operatorname {Col} (A)}$.
3. ${\displaystyle (v_{r+1},\ldots ,v_{n})}$ es una base ortonormal del subespacio fundamental ${\displaystyle \operatorname {Nul} (A)}$.
4. ${\displaystyle \operatorname {rg} (A)=r}$ es decir, el rango de la matriz ${\displaystyle A}$ coincide con la cantidad de valores singulares no nulos.

Demostración

1. ${\displaystyle \langle Av_{i},Av_{j}\rangle =v_{i}^{T}A^{T}Av_{j}=\lambda _{j}v_{i}^{T}v_{j}={\begin{cases}\lambda _{j}&i=j\\0&i\neq j\end{cases}}}$. Teniendo en cuenta este resultado, ${\displaystyle \|Av_{i}\|={\sqrt {\langle Av_{i},Av_{i}\rangle }}={\sqrt {\lambda _{i}}}=\sigma _{i}}$.
2. Como la familia de vectores ${\displaystyle (v_{i})_{1\leq i\leq r}}$ es ortonormal —en particular, linealmente independiente—, los productos ${\displaystyle Av_{i}}$ son combinaciones lineales de las columnas de ${\displaystyle A}$, por lo que el subespacio generado por estos productos está contenido en ${\displaystyle \operatorname {Col} (A)}$. Además, los vectores ${\displaystyle Av_{1},\ldots ,Av_{r}}$ son ortogonales dos a dos —en particular, linealmente independientes—, por lo tanto deducimos que ${\displaystyle \dim {\big (}{\big \langle }{\tfrac {1}{\sigma _{1}}}Av_{1},\ldots ,{\tfrac {1}{\sigma _{r}}}Av_{r}{\big \rangle }{\big )}=r=\dim(\operatorname {Col} (A))}$, de donde ${\displaystyle \operatorname {Col} (A)={\big \langle }{\tfrac {1}{\sigma _{1}}}Av_{1},\ldots ,{\tfrac {1}{\sigma _{r}}}Av_{r}{\big \rangle }}$. Así, teniendo en cuenta lo demostrado en el punto anterior, ${\displaystyle {\big (}{\tfrac {1}{\sigma _{1}}}Av_{1},\ldots ,{\tfrac {1}{\sigma _{r}}}Av_{r}{\big )}}$ es una base ortonormal de ${\displaystyle \operatorname {Col} (A)}$.
3. Es claro que si la familia de vectores ${\displaystyle (v_{i})_{r<i\leq n}}$, está asociada a valores propios nulos, teniendo en cuenta lo visto en el punto 1 y también sabiendo que ${\displaystyle \operatorname {Nul} (A)=\operatorname {Nul} (A^{T}A)}$ —demostración en el último punto de esta lista de propiedades— se ve que ${\displaystyle (v_{r+1},\ldots ,v_{n})}$ es una base ortonormal de ${\displaystyle \operatorname {Nul} (A)}$
4. Mirando la dimensión del subespacio hallado en el punto 2 de esta demostración, es claro que ${\displaystyle \operatorname {rg} (A)=r}$.

Descomposición en valores singulares de una matriz

Una DVS de ${\displaystyle A\in {\mathcal {M}}_{m\times n}(\mathbb {R} )}$ es una factorización del tipo ${\displaystyle A=U\Sigma V^{T}}$ con ${\displaystyle U\in {\mathcal {M}}_{m}(\mathbb {R} )}$ y ${\displaystyle V\in {\mathcal {M}}_{n}(\mathbb {R} )}$ ortogonales y ${\displaystyle \Sigma \in {\mathcal {M}}_{m\times n}(\mathbb {R} )}$ una matriz formada por los valores singulares de ${\displaystyle A}$ en su diagonal principal ordenados de mayor a menor, y ceros en el resto de entradas.

Teorema

Toda matriz ${\displaystyle A\in {\mathcal {M}}_{m\times n}(\mathbb {R} )}$ admite una DVS.

Demostración

Sean ${\displaystyle \lambda _{1}\geq \cdots \geq \lambda _{r}>\lambda _{r+1}=\cdots =\lambda _{n}=0}$ los valores propios de ${\displaystyle A^{T}A\in {\mathcal {M}}_{n}(\mathbb {R} )}$ ordenados de esta manera. Sea ${\displaystyle (v_{1},\ldots ,v_{n})}$ una base ortonormal de ${\displaystyle \mathbb {R} ^{n}}$ formada por vectores propios de ${\displaystyle A^{T}A}$, cada uno asociado —en orden— a un valor propio.

Recordemos que los vectores ${\displaystyle Av_{1},\ldots ,Av_{n}}$ son ortogonales dos a dos, con ${\displaystyle Av_{r+1}=\cdots =Av_{m}=0}$. Si llamamos ${\displaystyle u_{1}:={\frac {1}{\sigma _{1}}}Av_{1},\ldots ,u_{r}:={\frac {1}{\sigma _{r}}}Av_{r}}$, vemos que:

• ${\displaystyle u_{1},\ldots ,u_{r}}$ son ortonormales. Entonces, si ${\displaystyle r<m}$, podemos completar con vectores ${\displaystyle u_{r+1},\ldots ,u_{m}}$ hasta formar una base ortonormal de ${\displaystyle \mathbb {R} ^{m}}$

• ${\displaystyle \left\{{\begin{array}{c}Av_{1}=\sigma _{1}u_{1}\\\vdots \\Av_{r}=\sigma _{r}u_{r}\\Av_{r+1}=0\\\vdots \\Av_{n}=0\end{array}}\right.}$

• Reescribiendo este último sistema de ecuaciones de manera matricial con las matrices ${\displaystyle V={\begin{pmatrix}|&&|\\v_{1}&\cdots &v_{n}\\|&&|\end{pmatrix}}\in {\mathcal {M}}_{n}(\mathbb {R} )}$ ortogonal y

${\displaystyle U\Sigma =\underbrace {\begin{pmatrix}|&&|\\u_{1}&\cdots &u_{n}\\|&&|\end{pmatrix}} _{U\in {\mathcal {M}}_{m}(\mathbb {R} ){\text{ ortogonal}}}\underbrace {\begin{pmatrix}\sigma _{1}&0&\cdots &0&0&\cdots &0\\0&\sigma _{2}&\cdots &0&0&\cdots &0\\\vdots &\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma _{r}&0&\cdots &0\\0&0&\cdots &0&0&\cdots &0\\\vdots &\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &0&0&\cdots &0\\\end{pmatrix}} _{\Sigma \in {\mathcal {M}}_{m\times n}(\mathbb {R} )}={\begin{pmatrix}|&&|&|&&|\\\sigma _{1}u_{1}&\cdots &\sigma _{r}u_{r}&0&\cdots &0\\|&&|&|&&|\end{pmatrix}}}$

Claramente ${\displaystyle AV=U\Sigma \,}$ y, finalmente, como ${\displaystyle V}$ es una matriz ortogonal, ${\displaystyle A=U\Sigma V^{T}}$. Esta es la ecuación de una DVS de ${\displaystyle A\,}$.

Viendo esta descomposición, es claro que la matriz ${\displaystyle A}$ puede escribirse como combinación lineal de matrices de rango 1 tal que:

${\displaystyle A=\sum _{i=1}^{r}\sigma _{i}u_{i}v_{i}^{T}}$

Descomposición en valores singulares reducida (DVS reducida)

Este tipo de descomposición resulta de quedarse sólo con los ${\displaystyle r}$ vectores propios unitarios asociados a los ${\displaystyle r}$ valores singulares no nulos. Las matrices ${\displaystyle U}$, ${\displaystyle V}$ y ${\displaystyle \Sigma }$ entonces son:

${\displaystyle U_{r}={\begin{pmatrix}|&&|\\u_{1}&\cdots &u_{r}\\|&&|\end{pmatrix}}^{T}}$

${\displaystyle V_{r}={\begin{pmatrix}|&&|\\v_{1}&\cdots &v_{r}\\|&&|\end{pmatrix}}^{T}}$

${\displaystyle \Sigma _{r}=\operatorname {diag} (\sigma _{1},\ldots ,\sigma _{r})}$

${\displaystyle A=U_{r}\Sigma _{r}V_{r}^{T}}$

Observación: ${\displaystyle \Sigma _{r}}$ es una matriz diagonal de tamaño ${\displaystyle r\times r}$.

Propiedades

Las matrices a continuación denotadas con la letra ${\displaystyle P}$, son de proyección sobre el subespacio indicado. Las matrices denotadas con la letra ${\displaystyle I}$ son las identidades del orden denotado.

• ${\displaystyle P_{\operatorname {Col} (A)}=U_{r}U_{r}^{T}}$

• ${\displaystyle P_{\operatorname {Nul} (A^{t})}=I_{m}-U_{r}U_{r}^{T}=U_{m-r}U_{m-r}^{T}}$

• ${\displaystyle P_{\operatorname {Fil} (A)}=V_{r}V_{r}^{T}}$

• ${\displaystyle P_{\operatorname {Nul} (A)}=I_{n}-V_{r}V_{r}^{T}=V_{n-r}V_{n-r}^{T}}$

• ${\displaystyle U_{r}^{T}U_{r}=U_{m-r}^{T}U_{m-r}=I_{m}}$

• ${\displaystyle V_{r}^{T}V_{r}=V_{n-r}^{T}V_{n-r}=I_{n}}$

• ${\displaystyle (u_{1},\ldots ,u_{r})}$ es una base ortonormal de ${\displaystyle \operatorname {Col} (A)}$

• ${\displaystyle (u_{r+1},\ldots ,u_{m})}$ es una base ortonormal de ${\displaystyle \operatorname {Nul} (A^{T})}$

• ${\displaystyle (v_{1},\ldots ,v_{r})}$ es una base ortonormal de ${\displaystyle \operatorname {Fil} (A)}$

• ${\displaystyle (v_{r+1},\ldots ,v_{n})}$ es una base ortonormal de ${\displaystyle \operatorname {Nul} (A)}$

• ${\displaystyle A=U\Sigma V^{T}}$ implica que ${\displaystyle A^{T}=(U\Sigma V^{T})^{T}=V\Sigma ^{T}U^{T}}$.

• ${\displaystyle A^{T}A=V\Sigma ^{T}U^{T}U\Sigma V^{T}\Leftrightarrow A^{T}=V\Sigma ^{T}\Sigma V^{T}\Leftrightarrow A^{T}A=V_{r}\operatorname {diag} (\lambda _{1},\ldots ,\lambda _{r})V_{r}^{T}}$ —una diagonalización ortogonal de ${\displaystyle A^{T}A}$—.

• Las matrices simétricas ${\displaystyle A^{T}A\in {\mathcal {M}}_{n}(\mathbb {R} )}$ y ${\displaystyle AA^{T}\in {\mathcal {M}}_{m}(\mathbb {R} )}$ tienen los mismos valores propios no nulos y, por lo tanto, los valores singulares no nulos de la matriz ${\displaystyle A}$ pueden calcularse usando cualquiera de estas dos. Además, todos los vectores del conjunto ${\displaystyle \{u_{1},\ldots ,u_{r}\}}$ son vectores propios de ${\displaystyle AA^{T}\in {\mathcal {M}}_{m}(\mathbb {R} )}$ y también, como ya se mencionó, ${\displaystyle \operatorname {Nul} (A^{T})=\langle u_{r+1},\ldots ,u_{m}\rangle }$. Esto es fácil de ver, teniendo en cuenta que

${\displaystyle \forall 1\leq i\leq r,\ Av_{i}=\sigma _{i}u_{i}\Leftrightarrow A\underbrace {A^{T}Av_{i}} _{\lambda _{i}v_{i}}=\sigma _{i}AA^{t}u_{i}\Leftrightarrow \lambda _{i}Av_{i}=\sigma _{i}^{2}\underbrace {Av_{i}} _{\sigma _{i}u_{i}}=\sigma _{i}\cdot AA^{T}u_{i}\Leftrightarrow AA^{T}u_{i}=\sigma _{i}^{2}u_{i}=\lambda _{i}u_{i}}$

Este resultado es útil para facilitar el cálculo de valores singulares. Por ejemplo, dada ${\displaystyle A\in {\mathcal {M}}_{2\times 8}(\mathbb {R} )}$, entonces ${\displaystyle A^{T}A\in {\mathcal {M}}_{8}(\mathbb {R} )}$ tiene un polinomio característico de grado 8 y ${\displaystyle AA^{T}\in {\mathcal {M}}_{2}(\mathbb {R} )}$ tiene un polinomio característico de grado 2. Como los valores propios no nulos de ambas matrices coinciden, el cálculo de valores singulares de ${\displaystyle A}$ se hace más sencillo.

Aplicaciones

Pseudoinversa

Para una matriz no cuadrada ${\displaystyle A}$ descompuesta en valores singulares ${\displaystyle A=U\Sigma V^{T}}$, su pseudoinversa es

${\displaystyle A^{+}:=V\Sigma ^{+}U^{T}}$

donde ${\displaystyle \Sigma ^{+}}$ es la pseudoinversa de ${\displaystyle \Sigma }$, que siendo una matriz diagonal se computa reemplazando todos los valores no nulos de la diagonal por sus recíprocos, y luego trasponiendo.

La pseudoinversa es un camino para resolver cuadrados mínimos lineales.

Solución de norma mínima

La pseudoinversa obtenida mediante la DVS permite hallar ${\displaystyle x}$ que minimiza la norma ${\displaystyle \|Ax-b\|}$. La solución esː

${\displaystyle x_{\text{min}}=A^{+}b=V\Sigma ^{+}U^{T}b}$

Se aplica para aproximar la solución del sistema de ecuaciones indeterminado ${\displaystyle \|Ax-b\|}$.

Solución de ecuaciones lineales homogéneas

Un conjunto de ecuaciones lineales homogéneas se puede escribir en la forma ${\displaystyle Ax=0}$ para una matriz ${\displaystyle A}$ y un vector ${\displaystyle x}$. Una situación típica consiste hallar ${\displaystyle x}$ no nulo, conociendo ${\displaystyle A}$. Las soluciones son todos los vectores singulares cuyo valor singular es cero, y toda combinación lineal entre ellos. Si ${\displaystyle A}$ no tiene ningún valor singular cero, entonces no hay solución aparte de ${\displaystyle x=0}$.

Minimización de cuadrados mínimos totales

El problema de minimización por cuadrados mínimos totales consiste en hallar ${\displaystyle x}$ que minimiza la norma ${\displaystyle \|Ax\|}$ bajo la condición ${\displaystyle \|x\|=1}$:

${\displaystyle \min _{\|x\|=1}\|Ax\|}$.

La solución es el vector singular correspondiente al mínimo valor singular no cero.

Ejemplos de cálculo de DVS

Ejemplo 1

Si ${\displaystyle A={\begin{pmatrix}0&0\\0&9\\3&0\end{pmatrix}}}$, entonces ${\displaystyle A^{T}A={\begin{pmatrix}9&0\\0&81\end{pmatrix}}}$, cuyos autovalores son ${\displaystyle \lambda _{1}=81}$ y ${\displaystyle \lambda _{2}=9}$ asociados a los autovectores ${\displaystyle v_{1}=(0,1)}$ y ${\displaystyle v_{2}=(1,0)}$. Ya que la matriz es simétrica, estos vectores son ortogonales (ver diagonalización de matrices Hermíticas).

Entonces, los valores singulares de ${\displaystyle A}$ son ${\displaystyle \sigma _{1}={\sqrt {81}}=9}$ y ${\displaystyle \sigma _{2}={\sqrt {9}}=3}$. Observamos que, efectivamente, la cantidad de valores singulares no nulos coincide con el rango de la matriz.

Ahora buscamos los vectores ${\displaystyle u_{1},u_{2},u_{3}\in \mathbb {R} ^{3}}$ que deberán cumplir

${\displaystyle \left\{{\begin{array}{c}Av_{1}=\sigma _{1}u_{1}\\Av_{2}=\sigma _{2}u_{2}\\Av_{3}=0\end{array}}\right.}$

Esto es ${\displaystyle u_{1}={\frac {1}{\sigma _{1}}}Av_{1}={\frac {1}{9}}(0,9,0)=(0,1,0)}$ y ${\displaystyle u_{2}={\frac {1}{\sigma _{2}}}Av_{2}={\frac {1}{3}}(0,0,3)=(0,0,1)}$.

Entonces completamos a una base ortonormal de ${\displaystyle \mathbb {R} ^{3}}$, ${\displaystyle ((0,1,0),(0,0,1),(1,0,0))}$.

Nuestras matrices ortogonales son:

${\displaystyle U={\begin{pmatrix}0&0&1\\1&0&0\\0&1&0\end{pmatrix}}}$ y ${\displaystyle V={\begin{pmatrix}0&1\\1&0\end{pmatrix}}}$

Y la matriz compuesta por los valores singulares ordenados:

${\displaystyle \Sigma ={\begin{pmatrix}9&0\\0&3\\0&0\end{pmatrix}}}$

Por lo tanto la DVS de ${\displaystyle A\,}$ es:

${\displaystyle A={\begin{pmatrix}0&0&1\\1&0&0\\0&1&0\end{pmatrix}}{\begin{pmatrix}9&0\\0&3\\0&0\end{pmatrix}}{\begin{pmatrix}0&1\\1&0\end{pmatrix}}=9{\begin{pmatrix}0\\1\\0\end{pmatrix}}{\begin{pmatrix}0&1\end{pmatrix}}+3{\begin{pmatrix}0\\0\\1\end{pmatrix}}{\begin{pmatrix}1&0\end{pmatrix}}={\begin{pmatrix}0&0\\0&9\\3&0\end{pmatrix}}}$.

Y la DVS reducida es

${\displaystyle A={\begin{pmatrix}0&0\\1&0\\0&1\end{pmatrix}}{\begin{pmatrix}9&0\\0&3\end{pmatrix}}{\begin{pmatrix}0&1\\1&0\end{pmatrix}}}$

Observación: No siempre ocurre que ${\displaystyle V=V^{T}}$ como en este caso.

Ejemplo 2

Sea ${\displaystyle B={\begin{pmatrix}0&0&1\\0&0&1\end{pmatrix}}}$. Entonces, para hacer más sencillo el proceso, calculamos ${\displaystyle BB^{T}={\begin{pmatrix}1&1\\1&1\end{pmatrix}}}$ que tiene un polinomio característico de grado 2. Los autovalores son ${\displaystyle \lambda _{1}=2}$ y ${\displaystyle \lambda _{2}=0}$ asociados a los autovectores de norma unitaria ${\displaystyle u_{1}={\frac {1}{\sqrt {2}}}(1,1)}$ y ${\displaystyle u_{2}={\frac {1}{\sqrt {2}}}(-1,1)}$. Nuestro único valor singular no nulo es ${\displaystyle \sigma _{1}={\sqrt {2}}}$.

Observaciones:

• Es claro que ${\displaystyle \operatorname {rg} (B)=1}$ coincide con la cantidad de valores singulares no nulos de la matriz y además ${\displaystyle \operatorname {Col} (B)=\left\langle {\frac {1}{\sqrt {2}}}(1,1)\right\rangle }$.
• Sabemos que ${\displaystyle B^{T}B\in {\mathcal {M}}_{3}(\mathbb {R} )}$ tiene un polinomio característico de grado 3. Sus raíces son ${\displaystyle \lambda _{1}=2}$, ${\displaystyle \lambda _{2}=\lambda _{3}=0}$. Veámoslo:

${\displaystyle B^{T}B={\begin{pmatrix}0&0&0\\0&0&0\\0&0&2\end{pmatrix}}\Longrightarrow p_{B^{T}B}(x)=\det(xI_{3}-B^{T}B)=x^{2}(x-2)}$.

Ahora, sabemos que ${\displaystyle Bv_{i}=\sigma _{i}u_{i}\Leftrightarrow B^{T}Bv_{i}=\sigma _{i}^{2}v_{i}=\sigma _{i}B^{T}u_{i}}$, es decir ${\displaystyle B^{T}u_{i}=\sigma _{i}v_{i}\Leftrightarrow v_{i}={\frac {1}{\sigma _{i}}}B^{T}u_{i}}$. Entonces, resulta del único valor singular no nulo: ${\displaystyle v_{1}={\frac {1}{2}}(0,0,2)=(0,0,1)}$.

Ahora, completamos a una base ortonormal de ${\displaystyle \mathbb {R} ^{3}}$, ${\displaystyle ((0,0,1),(1,0,0),(0,1,0))}$. En este ejemplo, nuestras matrices ortogonales son:

${\displaystyle U={\frac {1}{\sqrt {2}}}{\begin{pmatrix}1&-1\\1&1\end{pmatrix}}}$ y ${\displaystyle V={\begin{pmatrix}0&1&0\\0&0&1\\1&0&0\end{pmatrix}}}$.

${\displaystyle \Sigma ={\begin{pmatrix}{\sqrt {2}}&0&0\\0&0&0\end{pmatrix}}}$.

Y la DVS resulta entonces

${\displaystyle B={\frac {1}{\sqrt {2}}}{\begin{pmatrix}1&-1\\1&1\end{pmatrix}}{\begin{pmatrix}{\sqrt {2}}&0&0\\0&0&0\end{pmatrix}}{\begin{pmatrix}0&0&1\\1&0&0\\0&1&0\end{pmatrix}}={\begin{pmatrix}1\\1\end{pmatrix}}{\begin{pmatrix}0&0&1\end{pmatrix}}={\begin{pmatrix}0&0&1\\0&0&1\end{pmatrix}}}$.

Nota: la DVS reducida se muestra en la segunda igualdad de la ecuación anterior.

Véase también

• Matriz normal
• Matriz ortogonal
• Matriz simétrica
• Diagonalización de una matriz
• Subespacios fundamentales de una matriz
• Pseudoinversa de Moore-Penrose