Por qué la demo impresiona y el producto decepciona
Una demo se construye alrededor de los casos que funcionan. El producto se enfrenta a todos. Qué comprobar antes de fiarte de una demostración de IA.
Viste la demo de una herramienta de IA, todo fue fluido y decidiste comprar. Tras una semana de trabajo real ya no se ve igual. Eso no significa necesariamente que te hayan engañado. Una demo es una sola ejecución sobre un caso elegido de antemano, y eso es justo lo que mejor hace.
¿Qué cambia en el trabajo real?
Primero, la entrada. En una demo alguien escribe una frase limpia. En el trabajo real llegan peticiones en otros idiomas, con erratas, una petición de una sola palabra como "devoluciones", o una conversación larga donde lo importante se dijo veinte mensajes atrás. OpenAI incluye justo este tipo de entradas entre los casos límite que hay que probar.
Segundo, la variabilidad. OpenAI escribe que la IA generativa es variable: la misma entrada puede dar una salida distinta. Una ejecución que funcionó en la demo no garantiza que funcionen las siguientes veinte.
Tercero, la selección. Quien prepara una demo elige los casos que muestran la herramienta en su mejor momento. No es trampa. Es lo que es una demostración.
¿Qué dicen quienes construyen las herramientas?
La guía de evaluaciones de OpenAI advierte de varios errores: montar un conjunto de pruebas que no refleja el tráfico real, apoyarse en una sensación como "parece que funciona", y esperar al lanzamiento para empezar a probar. El equipo de ingeniería de Anthropic propone empezar con unas decenas de tareas tomadas de fallos reales.
¿Qué pedir antes de fiarte de una demo?
Esta es mi propia lista, no un estándar.
Ejecuta la herramienta con veinte casos tuyos, incluidos algunos desordenados. La guía sobre 20 casos antes del lanzamiento explica cómo montar un conjunto así.
Ejecuta cada caso varias veces y mira si la respuesta es estable.
Envía peticiones cortas, con erratas y en el idioma que usan tus clientes.
Y pregunta al proveedor directamente: ¿dónde falla y cómo se ve un fallo? Un proveedor sin respuesta a eso ya te ha dado una respuesta.
¿Y qué haces con esto?
Una demo es una invitación a empezar a probar, no una razón para dejar de hacerlo. Si la herramienta aguanta tus veinte casos, tienes muchos más motivos para fiarte que los que da cualquier demostración.