Garbage in, garbage out: por qué la IA puede amplificar el problema

Una pregunta antigua

Charles Babbage, que en el siglo XIX concibió la máquina analítica, contaba que dos veces le habían preguntado si, introduciendo cifras equivocadas en una máquina, podían salir respuestas correctas. La pregunta parece absurda, pero reaparece cada vez que esperamos que una tecnología arregle por sí sola la información que le damos.

Con el tiempo, esta idea se resumió con la expresión garbage in, garbage out: si los datos de entrada son malos, el resultado también queda afectado.

Esto no quiere decir que un sistema no pueda detectar errores. Puede encontrar duplicados, incoherencias o valores extraños si está preparado para hacerlo. Pero no puede saber por arte de magia qué dato es correcto cuando la información falta o se contradice.

Con la inteligencia artificial, este problema puede crecer por dos motivos.

Primer mecanismo: los errores pueden convertirse en patrón

En un proceso tradicional, un dato equivocado puede estropear un resultado concreto. En un modelo de aprendizaje automático, los datos también sirven para ajustar el comportamiento del sistema.

Un fallo puntual no tendrá necesariamente mucho efecto. Pero si los errores, los duplicados o los sesgos aparecen con suficiente frecuencia y no se corrigen, el modelo puede reflejarlos y repetirlos. Los datos de entrenamiento poco representativos, por ejemplo, pueden hacer que algunos sesgos se amplifiquen.

Pasa algo parecido cuando conectamos un asistente a los documentos de una empresa. Si de un mismo cliente hay tres direcciones, o conviven dos tarifas sin indicar cuál está vigente, el asistente no tiene una fuente clara. Puede escoger una versión, mezclarlas o dar respuestas distintas según el contexto.

El problema no es solo la IA. Es que la contradicción todavía no se ha resuelto.

Segundo mecanismo: la forma puede tapar el problema

Los datos malos no siempre son evidentes, pero a menudo dejan pistas: campos vacíos, totales que no cuadran, documentos sin fecha o versiones duplicadas.

Un modelo generativo puede convertir información incompleta o contradictoria en una respuesta ordenada, fluida y segura. La forma mejora; el fondo, no necesariamente. Estos sistemas pueden presentar información falsa o errónea con confianza, de modo que parezca más fiable de lo que es.

Aquí está el peligro: una respuesta bien escrita puede hacernos bajar la guardia. Pero la fluidez no es una prueba de veracidad. Un texto claro puede estar bien fundamentado, medio equivocado o basado en fuentes que se contradicen.

Así, un error que antes habría despertado dudas puede acabar en un correo, un informe o una decisión porque llega bien presentado.

La IA también añade escala

Cuando los dos mecanismos se combinan, el efecto crece. Un dato deficiente puede convertirse en un patrón repetido; una respuesta convincente puede hacer que cueste detectarlo; y la automatización permite repetir el proceso muchas veces y muy rápido.

Por eso, poner IA encima de un conjunto de datos desordenado no crea orden por sí solo. Antes hay que decidir cuál es la fuente principal, retirar las versiones antiguas, unificar definiciones y dejar claro quién es responsable de cada dato.

Este trabajo no ha quedado anticuado con la IA. Se ha vuelto más importante.