372. ¿En quién confío cuando pregunto algo… y no sé de dónde sale la respuesta?

En este episodio reflexionamos sobre una pregunta que, aunque parece sencilla, abre un abanico enorme de matices: cuando le pregunto algo a alguien —o a un sistema— y me da una respuesta, ¿cómo sé si esa respuesta es fiable, si está basada en datos sólidos o si simplemente no lo está? Validar cualquier información implica trabajo: contrastar, revisar fuentes, consultar enciclopedias, documentos o expertos reales. Pero la cosa se complica cuando ese “alguien” no es una persona, sino un sistema de inteligencia artificial, concretamente un modelo de lenguaje como los que todos usamos hoy en día: ChatGPT, Gemini, Claude, etc.

La gran cuestión es: ¿cómo fiarnos de las respuestas de un modelo cuyo entrenamiento no conocemos y cuyos datos tampoco vemos? En algunos casos podemos hacer pequeñas pruebas. Si le pregunto cuánto son 2+2, no busco la respuesta, porque ya la sé; busco comprobar si responde bien a lo básico. Si falla ahí, es difícil confiar en lo que haga después. Pero cuando las preguntas se vuelven más complejas, abiertas o subjetivas, el control desaparece. ¿Cómo comprobar entonces? ¿Cuántas preguntas de test deberían hacerse antes de usar el modelo para algo importante: una, diez, cien, mil? La respuesta depende del riesgo, de la importancia de lo que vayamos a hacer con esas respuestas y de los recursos que tengamos para evaluarlo.

Por eso, en entornos de alta responsabilidad —como la clínica— un modelo debería pasar un testeo profundo y exhaustivo. De ahí que existan benchmarks con miles de ejemplos para evaluar modelos de lenguaje. Pero cuando no hay benchmark, ni tiempo, ni capacidad para testear a fondo, ¿qué opciones quedan? Una estrategia común es la aproximación por consenso: hacer la misma pregunta a varios modelos y comparar. Si todos coinciden, aumenta la confianza. Pero esto tampoco es infalible: cuatro sistemas entrenados con datos similares pueden equivocarse igual, del mismo modo que cuatro personas desinformadas pueden dar la misma respuesta incorrecta.

En resumen, no existe una solución perfecta. Lo que sí existe es la necesidad de ser conscientes de la incertidumbre, del contexto en el que usamos las respuestas, del nivel de seguridad que necesitamos y de los métodos disponibles para aumentar, aunque sea un poco, la robustez de lo que obtenemos: pruebas previas, consenso entre modelos, contraste con fuentes externas.

Y aquí viene la reflexión meta: te he dado ideas, ejemplos y caminos posibles, pero también deberías analizar críticamente este episodio igual que analizarías cualquier respuesta de un modelo de lenguaje. Si quieres conversar sobre este tema con más gente, contrastar opiniones o preguntar más, te invito a unirte a nuestra comunidad de investigadores en WhatsApp, disponible en https://horacio-ps.com/comunidad.

Si este episodio te ha parecido útil o interesante, te agradecería mucho que le des cinco estrellas, un like o te suscribas al canal donde lo estés escuchando. Ayuda muchísimo a que el contenido llegue a más personas.