Una fábrica produce dos productos ($x_1$ y $x_2$). Cada unidad de producto 1 genera $5 de ganancia; cada unidad de producto 2 genera $4. Pero los recursos son limitados:

• Recurso A: cada unidad de producto 1 usa 6 unidades, cada unidad de producto 2 usa 4 unidades. Disponible: 24.
• Recurso B: cada unidad de producto 1 usa 1 unidad, cada unidad de producto 2 usa 2 unidades. Disponible: 6.
• No se pueden producir cantidades negativas.

Formulación:

$$ \max_{x_1, x_2} \quad 5x_1 + 4x_2 $$

sujeto a:

$$ \begin{aligned} 6x_1 + 4x_2 &\leq 24 \ x_1 + 2x_2 &\leq 6 \ x_1, x_2 &\geq 0 \end{aligned} $$

En notación matricial: $\max , c^T x$ sujeto a $Ax \leq b$, $x \geq 0$, donde:

$$ c = \begin{pmatrix} 5 \ 4 \end{pmatrix}, \quad A = \begin{pmatrix} 6 & 4 \ 1 & 2 \end{pmatrix}, \quad b = \begin{pmatrix} 24 \ 6 \end{pmatrix} $$

Tienes datos $(x_i, y_i)$ para $i = 1, \ldots, N$ y quieres encontrar el parámetro $\beta$ que mejor ajusta una línea $y = \beta x$.

Formulación:

$$ \min_{\beta} \sum_{i=1}^{N} (y_i - \beta x_i)^2 $$

Esto es un problema sin restricciones. La función objetivo es la suma de errores al cuadrado. La variable de decisión es $\beta \in \mathbb{R}$.

Nota: este problema tiene solución cerrada (derivar, igualar a cero, despejar):

$$ \beta^{∗} = \frac{\sum_i x_i y_i}{\sum_i x_i^2} $$

Pero cuando el modelo es más complejo (redes neuronales, por ejemplo), no hay solución cerrada y necesitamos algoritmos iterativos.

Quieres separar dos clases de puntos con un hiperplano $w^T x + b = 0$, maximizando el margen (distancia al punto más cercano).

Formulación:

$$ \min_{w, b} \quad \frac{1}{2} |w|^2 $$

sujeto a:

$$ y_i (w^T x_i + b) \geq 1, \quad i = 1, \ldots, N $$

donde $y_i \in {-1, +1}$ es la etiqueta de clase.

• Objetivo: minimizar $|w|^2$ (equivale a maximizar el margen $\frac{2}{|w|}$).
• Variables: $w \in \mathbb{R}^n$, $b \in \mathbb{R}$.
• Restricciones: cada punto debe estar del lado correcto del margen.

¿Qué pasa si el modelo de mínimos cuadrados (Ejemplo 2) sobreajusta? Añadimos un término de penalización que castiga pesos grandes:

Ridge regression (penalización L2):

$$\min_w |y - Xw|^2 + \lambda |w|^2$$

Lasso (penalización L1):

$$\min_w |y - Xw|^2 + \lambda |w|_1$$

El hiperparámetro $\lambda \geq 0$ es la “perilla” que controla el balance entre ajuste a los datos (primer término) y simplicidad del modelo (segundo término):

• $\lambda = 0$: mínimos cuadrados ordinarios (sin regularización)
• $\lambda \to \infty$: todos los pesos se van a cero

¿Por qué dos penalizaciones?

• L2 (Ridge): pesos pequeños pero no cero — regularización suave
• L1 (Lasso): muchos pesos exactamente cero — selección de variables automática

Conexión con restricciones: Ridge es equivalente a un problema con restricción:

$$\min_w |y - Xw|^2 \quad \text{s.t.} \quad |w|^2 \leq t$$

Es decir, regularizar es optimizar sobre una bola en el espacio de parámetros. El $\lambda$ del Lagrangiano controla el radio $t$. Esta dualidad entre penalización y restricción aparece constantemente en optimización y ML.