Garbage in, garbage out: per què la IA pot amplificar el problema
La IA no arregla automàticament unes dades dolentes. Pot repetir-ne els errors, estendre'ls i presentar-los amb una aparença convincent.
Una pregunta antiga
Charles Babbage, que al segle XIX va concebre la màquina analítica, explicava que dues vegades li havien preguntat si, introduint xifres equivocades en una màquina, en podien sortir respostes correctes. La pregunta sembla absurda, però reapareix cada vegada que esperem que una tecnologia arregli per si sola la informació que li donem.
Amb el temps, aquesta idea es va resumir amb l’expressió garbage in, garbage out: si les dades d’entrada són dolentes, el resultat també en queda afectat.
Això no vol dir que un sistema no pugui detectar errors. Pot trobar duplicats, incoherències o valors estranys si està preparat per fer-ho. Però no pot saber per art de màgia quina dada és correcta quan la informació falta o es contradiu.
Amb la intel·ligència artificial, aquest problema pot créixer per dos motius.
Primer mecanisme: els errors es poden convertir en patró
En un procés tradicional, una dada equivocada pot espatllar un resultat concret. En un model d’aprenentatge automàtic, les dades també serveixen per ajustar el comportament del sistema.
Una errada puntual no necessàriament tindrà gaire efecte. Però si els errors, els duplicats o els biaixos apareixen prou sovint i no es corregeixen, el model els pot reflectir i repetir. Les dades de formació poc representatives, per exemple, poden fer que alguns biaixos s’amplifiquin.
Passa una cosa semblant quan connectem un assistent als documents d’una empresa. Si d’un mateix client hi ha tres adreces, o conviuen dues tarifes sense indicar quina és vigent, l’assistent no té una font clara. Pot escollir una versió, barrejar-les o donar respostes diferents segons el context.
El problema no és només la IA. És que la contradicció encara no s’ha resolt.
Segon mecanisme: la forma pot tapar el problema
Les dades dolentes no sempre són evidents, però sovint deixen pistes: camps buits, totals que no quadren, documents sense data o versions duplicades.
Un model generatiu pot convertir informació incompleta o contradictòria en una resposta ordenada, fluida i segura. La forma millora; el fons, no necessàriament. Aquests sistemes poden presentar informació falsa o errònia amb confiança, de manera que sembli més fiable del que és.
Aquí hi ha el perill: una resposta ben escrita pot fer-nos abaixar la guàrdia. Però la fluïdesa no és una prova de veracitat. Un text clar pot estar ben fonamentat, mig equivocat o basat en fonts que es contradiuen.
Així, un error que abans hauria despertat dubtes pot acabar en un correu, un informe o una decisió perquè arriba ben presentat.
La IA també hi afegeix escala
Quan els dos mecanismes es combinen, l’efecte creix. Una dada deficient es pot convertir en un patró repetit; una resposta convincent pot fer que costi detectar-lo; i l’automatització permet repetir el procés moltes vegades i molt de pressa.
Per això, posar IA damunt d’un conjunt de dades desordenat no crea ordre per si sol. Abans cal decidir quina és la font principal, retirar les versions antigues, unificar definicions i deixar clar qui és responsable de cada dada.
Aquesta feina no ha quedat antiquada amb la IA. S’ha tornat més important.