Decidir Bajo Incertidumbre

“In any moment of decision, the best thing you can do is the right thing. The worst thing you can do is nothing.” — Theodore Roosevelt

El principio de Máxima Utilidad Esperada (MEU)

Si aceptamos los axiomas vNM (sección anterior), la forma racional de decidir bajo riesgo es:

$$a^{∗} = \arg\max_{a \in A} \sum_{s \in S} P(s) \cdot U(o(a, s))$$

o más compactamente:

$$a^{∗} = \arg\max_{a \in A} ; E_S[U(a, S)]$$

Cuando el agente observa evidencia $x$ antes de decidir (lo que viene de predicción), las creencias se actualizan y la fórmula se condiciona:

$$a^{∗}(x) = \arg\max_{a \in A} \sum_{s \in S} P(s \mid x) \cdot U(o(a, s))$$

La versión sin condicionar usa la prior $P(s)$; la versión condicionada usa la posterior $P(s \mid x)$, que es exactamente lo que el módulo 08 nos enseñó a estimar. El principio es el mismo — solo cambian las creencias.

Observación clave: Esto es optimización (módulo 07), pero con un ingrediente nuevo — la probabilidad. En lugar de maximizar $f(x)$ directamente, maximizamos el promedio ponderado de $U$ sobre los posibles estados.

Árboles de decisión

Cuando las decisiones son secuenciales (una decisión depende de información revelada después de la primera), usamos árboles de decisión.

Elementos del árbol

Inducción hacia atrás (backward induction)

Para resolver un árbol de decisión:

1. Empieza por las hojas (resultados terminales).
2. En cada nodo de azar: calcula la utilidad esperada (promedio ponderado de hijos).
3. En cada nodo de decisión: elige la rama con mayor utilidad esperada.
4. Propaga hacia la raíz.

Redes de decisión

Las redes de decisión (influence diagrams) son una extensión de las redes Bayesianas que incorporan decisiones y utilidades:

Las flechas representan:

• Hacia nodos de azar: dependencias probabilísticas
• Hacia nodos de decisión: información disponible al decidir
• Hacia nodos de utilidad: variables que afectan la utilidad

graph LR
    E(("Enfermedad<br/>(azar)"))
    T["Test<br/>(decisión)"]
    R(("Resultado test<br/>(azar)"))
    Tr["Tratar<br/>(decisión)"]
    UUtilidad

    E -->|"P(E)"| R
    T -->|"hacer/no"| R
    R -->|"informa"| Tr
    E --> U
    Tr --> U
    T --> U

La ventaja sobre árboles: representación compacta cuando hay muchas variables. Un árbol con 5 variables binarias tiene $2^5 = 32$ hojas; una red tiene 5 nodos.

Valor de la Información

Una de las preguntas más poderosas en teoría de la decisión: ¿cuánto vale obtener más información antes de decidir?

La idea en un ejemplo

Imagina el problema del paraguas con $P(\text{Lluvia}) = 0.4$:

Sin información (decides a ciegas):

• $EU(\text{Llevar}) = 0.4 \times 8 + 0.6 \times 5 = 6.2$
• $EU(\text{No llevar}) = 0.4 \times 1 + 0.6 \times 10 = 6.4$ ← mejor
• Eliges “no llevar”, $EU = 6.4$

Con información perfecta (alguien te dice el clima antes de salir):

• Si llueve ($p = 0.4$): eliges llevar → utilidad 8
• Si sol ($p = 0.6$): eliges no llevar → utilidad 10
• $EU = 0.4 \times 8 + 0.6 \times 10 = 9.2$

La diferencia es el Valor de la Información Perfecta:

$$\text{VPI} = 9.2 - 6.4 = 2.8$$

¿Qué pasó? Con información, puedes adaptar tu acción al estado real. Sin información, estás atrapado en una sola acción para todos los estados. El VPI mide cuánto vale poder adaptarse.

Definición formal

Para cualquier fuente de información $E$:

$$\text{VoI}(E) = EU(\text{decide después de observar } E) - EU(\text{decide sin } E)$$

Es decir: primero observas y luego decides (primer término) versus decides a ciegas (segundo término).

Propiedad fundamental: $\text{VoI}(E) \geq 0$. La información nunca tiene valor negativo — en el peor caso, la ignoras y decides igual que antes.

Valor de la Información Perfecta (VPI)

El VPI es el caso extremo: sabes exactamente qué estado va a ocurrir.

$$\text{VPI} = \sum_{s} P(s) \cdot \max_{a} U(a, s) ;-; \max_{a} \sum_{s} P(s) \cdot U(a, s)$$

El primer término es “adaptas la acción a cada estado” (el $\max$ va adentro de la suma). El segundo es “una sola acción para todos” (el $\max$ va afuera).

Intuición matemática: El primer término pone el $\max$ adentro de la suma (eliges la mejor acción para cada estado). El segundo pone el $\max$ afuera (eliges una acción fija y promedias). Como $\max$ adentro $\geq$ $\max$ afuera (siempre es mejor adaptarse que comprometerse), el VPI es siempre $\geq 0$.

Ejemplo: diagnóstico médico

Un ejemplo más realista donde los números importan más:

Sin información:

• $EU(\text{Tratar}) = 0.1 \times 150 + 0.9 \times (-50) = 15 - 45 = -30$
• $EU(\text{No tratar}) = 0.1 \times (-200) + 0.9 \times 0 = -20$ ← mejor
• Mejor decisión: no tratar, $EU = -20$

Con información perfecta (test infalible):

• Si enfermo ($p = 0.1$): tratar (150 > -200)
• Si sano ($p = 0.9$): no tratar (0 > -50)
• $EU = 0.1 \times 150 + 0.9 \times 0 = 15$

$$\text{VPI} = 15 - (-20) = 35$$

Un test diagnóstico perfecto vale 35 unidades de utilidad. Si el test cuesta menos que eso, vale la pena hacerlo.

¿Y un test imperfecto? Si el test tiene 80% de precisión (no infalible), su VoI es menor que 35 pero mayor que 0. Mientras mejor sea el test, más se acerca al VPI.

¿Cuándo vale la pena buscar más información?

El VoI convierte “¿debería obtener más datos?” en una cuenta:

Regla práctica para ML: Antes de construir un modelo predictivo, pregunta: ¿existe una decisión que este modelo podría cambiar? Si no, el modelo no tiene valor operativo.

Criterios sin probabilidades

Cuando no tenemos (o no confiamos en) las probabilidades, usamos criterios de decisión bajo ignorancia.

Maximin (Wald)

$$a^{∗} = \arg\max_{a \in A} \min_{s \in S} U(a, s)$$

Filosofía: Pesimista. Prepárate para el peor caso. Elige la acción cuyo peor resultado es el menos malo.

Minimax regret (Savage)

Primero, calcula el regret (arrepentimiento) de cada combinación $(a, s)$:

$$R(a, s) = \max_{a’} U(a’, s) - U(a, s)$$

Luego minimiza el máximo regret:

$$a^{∗} = \arg\min_{a \in A} \max_{s \in S} R(a, s)$$

Filosofía: No te preocupa el peor resultado, sino el peor arrepentimiento — la diferencia entre lo que obtuviste y lo que hubieras podido obtener.

MEU vs Maximin: diferentes criterios, diferentes decisiones

Anterior: Utilidad y preferencias racionales | Siguiente: Optimización estocástica →