El extraño talento de la IA para estropear lo que ya había entendido

Por qué la IA cambia lo que ya funciona: la limitación oculta que te obliga a vigilarla todo el tiempo

Lo más frustrante de trabajar con IA no son sus errores, sino sus “arreglos” espontáneos: cambios que no pides, formatos que ya había entendido y de repente rompe, variaciones absurdas que te obligan a volver atrás. Ese comportamiento no es un despiste ni un bug: es una limitación estructural de su diseño. Y explica por qué, sin supervisión constante, la IA no puede mantener tareas repetitivas estables.

Hay algo más irritante que los errores de la IA:
tener que vigilarla para que no cambie lo que ya funciona.

Puedes darle la misma tarea repetitiva veinte veces —una tabla, un esquema, un HTML, un formato que ya ha entendido— y tarde o temprano lo deformará. Cambia columnas, altera el tono, reordena elementos, inventa matices que nadie pidió.

Durante meses pensé que era un bug.
No lo es.

Los estudios recientes sobre la arquitectura de los modelos generativos muestran algo muy claro: la inconsistencia no es un fallo del sistema, sino una limitación estructural inevitable. Y conviene entender por qué.

1. Los LLM son máquinas de probabilidad, no de reglas

Un modelo generativo no “aplica” normas.
Predice la siguiente palabra eligiéndola de una distribución de probabilidad.

Cada token es una mini-lotería ponderada.

Ese mecanismo es lo que les da fluidez y naturalidad… y exactamente lo que les impide dar siempre la misma salida a la misma instrucción.

2. El trade-off es inevitable: si quieres fluidez, pierdes consistencia

Los trabajos recientes en dinámica de redes neuronales coinciden:
los LLM no pueden ser, al mismo tiempo, altamente adaptativos y altamente consistentes.

• Si los haces estables, se vuelven rígidos y repetitivos.
• Si los haces fluidos, pierden reproducibilidad y formato.

El mismo mecanismo que permite que la IA “dialogue” es el que impide que repita una estructura sin deformarla.

3. La estabilidad forzada destruye el modelo

Cuando se intenta “apretar” demasiado aparecen dos patologías conocidas:

• Mode Collapse: pérdida de diversidad, respuestas en plantilla.
• Model Collapse: descrito por Shumailov et al. (2023): al alimentarse de su propia salida, el modelo acaba generando texto incoherente.

En otras palabras: si fuerzas demasiada consistencia, el modelo se rompe.
No es un error: es la arquitectura.

4. La consistencia no viene de fábrica: hay que imponerla desde fuera

Los modelos generativos no pueden mantener estructuras formales de forma nativa:

• Tablas → las deforma
• JSON → lo rompe
• HTML → lo reorganiza
• Esquemas rígidos → los altera
• Listas → las reinterpreta

De ahí la importancia de técnicas como Grammar-Constrained Decoding (2023–2024), que obligan al modelo a ajustarse a un formato definido externamente.

Ejemplo claro: Con JSON Schema defines el formato exacto y un validador externo comprueba la salida. Si no encaja, se rechaza. La consistencia la aporta el validador, no el modelo.

El tokenizador del modelo no encaja bien con una gramática formal, lo que añade fricción y sobrecoste permanente.

En resumen: la consistencia se impone, no viene de fábrica.

5. La industria ya lo ha asumido: la estabilidad se delega fuera del modelo

Los equipos que construyen sistemas avanzados de IA han llegado a la misma conclusión:
la estabilidad no debe depender del modelo.

La solución es híbrida:

• bases de datos para lógica estricta
• funciones deterministas
• toolcalling para cálculos reales
• validadores externos
• pipelines de control de formato

Los LLM quedan para lo que sí saben hacer: interpretar intención y generar lenguaje. Todo lo demás —exactitud, estructura, reproducibilidad— se saca fuera.

6. La supervisión humana no es opcional: es un requisito arquitectónico

Por eso están apareciendo herramientas de observabilidad para LLM: logging semántico, dashboards de drift, validadores en tiempo real, detectores de alucinaciones, análisis por lote…

Todas buscan lo mismo: vigilar al modelo porque su arquitectura lo exige.

No es una obsesión del usuario. Es un límite técnico reconocido por toda la industria.

Conclusión

La inconsistencia no es un bug ni un despiste.
Es una limitación estructural: la misma variabilidad que hace que un modelo sea conversacional lo hace incapaz de sostener tareas repetitivas sin supervisión humana.

La IA generativa puede ayudarte a trabajar, pero no puede trabajar sola.
Necesita que la vigiles. Porque su diseño lo exige.

Bibliografía citada

• Shumailov et al. (2023). The Curse of Recursion: Training on Generated Data Leads to Model Collapse.
• Anthropic (2024). Mixture-of-Experts Scaling Laws.
• OpenAI/Stanford (2024). Estudios sobre mode collapse en modelos alineados.
• Trabajos 2023–2024 sobre Grammar-Constrained Decoding y validación estructural.