Cuando la IA no puede alucinar
Cuando la IA no puede alucinar. Cómo construir sistemas que comprueban antes de responder. Sebastian Bimbi, CTO y cofundador de SRC.mx.
Cuando la IA no puede alucinar. Cómo construir sistemas que comprueban antes de responder. Sebastian Bimbi, CTO y cofundador de SRC.mx.
18:00. Noche electoral. La proyección ya está publicada y llega el conteo oficial. Cualquiera puede comparar.
Lo que publicamos: proyección. Lo que ocurrió: conteo oficial. Una comparación pública, no una afirmación de precisión.
Sebastian Bimbi, CTO y cofundador de SRC.mx. Su punto de partida: construir sistemas y comparar resultados.
Ejemplo ficticio. Una persona pregunta a qué hora cierra la tienda de Lima. La respuesta todavía no se ha comprobado.
La IA dice: la tienda cierra a las nueve de la noche, 21:00. Pregunta para el auditorio: ¿darías esa respuesta por buena?
La respuesta decía 21:00. La fuente ficticia indica 18:00. No coinciden; el buen estilo de la respuesta no demuestra que el dato sea verdadero.
Usar una IA mejor puede ayudar, pero no elimina la necesidad de comprobar. La charla no compara modelos actuales.
El modelo propone; el sistema comprueba; después se responde o se indica que no se puede confirmar. La validación no garantiza infalibilidad.
Cinco preguntas: ¿qué fuente?, ¿qué formato?, ¿qué tienda?, ¿y si falla?, ¿y sin IA?
Horario de Lima: 18:00. Respuesta: 18:00. Ambas coinciden en el ejemplo. La cita debe existir y respaldar el dato.
Cuando no hay una fuente suficiente, el sistema no confirma la hora. Puede pedir información o derivar la consulta.
Se exigen hora_cierre y fuente. 25:99 se rechaza; 18:00 tiene formato válido. Todavía falta comprobar el contenido.
Lima anterior: 20:00. Lima vigente: 18:00. Cusco vigente: 19:00. El sistema selecciona tienda y vigencia, no solo un documento parecido.
Una IA evaluadora puede ayudar. Su aprobación por sí sola no demuestra que un dato sea correcto; hay que revisar evidencia y reglas.
Si no llega respuesta, se aplica un tiempo límite y se intenta una ruta alternativa. Es una demostración local, no una caída real.
Claude Code y la API de Anthropic comparten proveedor. Una caída de ese proveedor puede afectar a ambas rutas; la alternativa ilustrativa es datos más reglas.
Con un horario vigente y comprobado, una plantilla responde 18:00 sin modelo. Si el dato pierde vigencia, la respuesta deja de confirmarse.
Datos privados, contenido externo no confiable y capacidad de enviar información fuera forman una combinación de riesgo. Un mensaje no autoriza a cambiar los permisos.
Cinco pruebas negativas locales: sin fuente, hora inválida, documento equivocado, proveedor caído y dato desactualizado. El resultado no es una certificación del sistema real.
F: Fuente, ¿de dónde sale? R: Razón, ¿tiene sentido? E: Exactitud, ¿coinciden los datos? N: Necesario, ¿falta algo? A: Alguien más, ¿quién lo revisa?
La IA genera respuestas; las personas conservan responsabilidades de diseño, revisión y uso. La decisión no se da por resuelta por usar IA.
Invitación a comparar las proyecciones con los resultados oficiales en src.org.mx/resultados. No se afirma un porcentaje de precisión.
Ayúdame a aplicar lo aprendido en F13 a una tarea real. Pregúntame qué quiero resolver y qué fuentes tengo. Diseñemos cómo comprobar la fuente, el formato y la vigencia; qué hacer si la IA falla; y qué resolver sin IA. Define permisos, pruebas de fallo y una revisión con FRENA. Si falta evidencia, indícalo. Empecemos por una tarea pequeña.
Escanea, deja tu nombre y correo, y cópialo.
Glosario: modelo, contexto, agente, validación, grounding, RAG, failover y fallback.
Resultado histórico conservado del deck: ≈70% desarrollo de software; ≈24% contabilidad y auditoría. Preferencia comparativa de expertos en GDPval 2025, no exactitud universal.
Fuentes: OpenAI sobre alucinaciones; JSON Schema; Self-Preference Bias in LLM-as-a-Judge; GDPval.
OpenAI · Por qué alucinan los modelos · 2025 ↗
JSON Schema · objetos y campos obligatorios ↗
Simon Willison sobre permisos; IBM Think sobre responsabilidad; METR como lectura adicional. FRENA es una adaptación del ponente de TRACK; la atribución al curso no fue verificada aquí.
Simon Willison · The lethal trifecta · 2025 ↗