poli
IPN-UPIITA
Redes Neuronales
Reporte R05
Dr. Rafael Martínez Martínez
Academia de sistemas
Instrucciones:
  • Cada problema/ejercicio debe tener procedimiento ordenado y completo que justifique adecuadamente la respuesta anotada.
  • Si falta el procedimiento o este no justifica la respuesta anotada entonces el problema vale 0 puntos aunque la respuesta sea correcta.

Problema 1 (15 puntos)

Antes de retomar el reporte anterior, consulta este documento y responde las siguientes preguntas

  1. Dada la matriz del sistema

    \[A=\begin{pmatrix} a_{11}&a_{12}\\ a_{21}&a_{22} \end{pmatrix} \]

    deduce una expresión para sus valores propios $\lambda_1$ y $\lambda_2$ en términos de sus elementos.

  2. Como $\operatorname{traza}(A)=a_{11} + a_{22}$ y $\operatorname{det(A)}=a_{11}a_{22}-a_{12}a_{21}$. Escribe a los valores propios de $A$ en términos de su traza y su determinante

  3. De acuerdo al plano Traza-Determinante, simula un sistema cuyos valores conjuntos de traza y determinante caigan en la región I. Simula otro sistema donde los valores caigan en la región II. De forma parecida a los ejemplos presentados para valores en la región III y IV, ¿cómo clasificarias a los sistemas que caigan en la región I y los que caigan en la región II? (no es necesario entregar las simulaciones)

Problema 2 (35 puntos)

Retomamos el articulo: Why Momentum Really Works. Con el fin de hacer menos extensa la revisión, se ha decidido omitir dos secciones

Contesta las siguientes preguntas

  1. Al realizar un cambio de base en la dinámica de momentum, para una forma cuadrática, se obtiene:

    \[\begin{aligned} y_{i}^{k+1} &=\beta y_{i}^{k}+\lambda_{i} x_{i}^{k} \\ x_{i}^{k+1} &=x_{i}^{k}-\alpha y_{i}^{k+1} \end{aligned} \]

    Hay una dependencia del lado derecho de la actualización actual (iteración $k+1$) en la variable $y$, para que se pueda utilizar lo consultado en el problema 1 es necesario que la dependencia del lado derecho en las dos variables solo sea en la actualización anterior (iteración $k$). Para este fin se realizan las operaciones descritas en la nota 3 (sustituir en la segunda ecuación $y_{i}^{k+1} =\beta y_{i}^{k}+\lambda_{i} x_{i}^{k}$ y despejar). Una vez que esto quede claro, basta convencerse de la formula de iteración.

    \[\left(\begin{array}{c} y_{i}^{k} \\ x_{i}^{k} \end{array}\right)=R^{k}\left(\begin{array}{c} y_{i}^{0} \\ x_{i}^{0} \end{array}\right) \quad R=\left(\begin{array}{cc} \beta & \lambda_{i} \\ -\alpha \beta & 1-\alpha \lambda_{i} \end{array}\right) \]

    Con lo anterior y el contenido de la sección correspondiente explica la Figura 1

    R05_1

    Figura 1. Comportamiento de la dinámica de Momentum en una forma cuadrática

  2. Para la convergencia del algoritmo momentum en una forma cuadrática se necesita que
    $\max \left\{\left|\sigma_{1}\right|,\left|\sigma_{2}\right|\right\}<1$. Escribe estas condiciones en términos de $\alpha$, $\beta$ y los valores propios $\lambda_i$ de la matriz $A$ de la forma cuadrática.

  3. Escribe los valores de $\alpha$ y $\beta$ para tener una tasa de convergencia óptima, así como el valor de tasa de convergencia óptima.

  4. Explica la Figura 2

    R05_2

    Figura 2. Error de evaluación en la dinámica de Momentum en una forma cuadrática

  5. Escribe la forma de actualización de los métodos lineales de primer orden así como la lista de los nombre de estos métodos comentados en el articulo.

  6. Explica la Figura 3

    R05_3

    Figura 3. Descomposición del error de evaluación en la dinámica de Momentum en una forma cuadrática

  7. Reporta tus conclusiones generales del articulo (no olvides mencionar tu trabajo del reporte anterior)

Problema 3 (50 puntos)

Ingresa al siguiente curso Introduction to Machine Learning1. Revisa la información ubicada en Week 5: Regression. Es necesario decir que no se vale revisar las soluciones 😄. Pero si puedes comprobar las veces que sea necesario tu resultado con la herramienta proporcionada en la plataforma 😀. No se supervisa la revisión del material indicado, pero ojalá esta se realice.

La entrega consiste en

  1. Resolver Week 5 Exercises, entrega el pdf de tus resultados en la plataforma.

  2. Week 5 Lab, entrega el pdf de tus resultados en la plataforma.

1.La creación de una cuenta e ingresar al curso es gratis ↩