Lo que dice la IA
«La solicitud vence el viernes».
Respuesta ilustrativa.
Cuando la IA no puede alucinar
Agentes confiables en producción.
Usa las flechas para avanzar. Abre el índice desde el contador.
Sebastian Bimbi
CTO y cofundador de SRC.
Construyo sistemas de IA que se ponen a prueba con resultados reales.
- Proyecciones electoralesContrastadas con el conteo oficial.
- 4 hackathones de IA en 20263 primeros lugares.
- Webflow ACE · Community MVP 2025Finalista de Builder of the Year.
Noche de elección. En vivo.
6:00 p. m.
Nuestra proyección
Ya está publicada.
Conteo oficial
Los resultados empiezan a llegar.
Si el sistema inventó una cifra, todos lo van a ver.
El rendimiento cambia según la tarea.
Una misma evaluación, dos resultados
Entregables que igualaron o superaron al experto.
GDPval · Claude Opus 4.1 · evaluación de 2025.
Desarrollo de software70%
Contabilidad y auditoría24%
Para tu sistema, evalúa la tarea real.
Fuentes: GDPval, figura 11 · METR, marzo de 2025
La confianza se construye.
Define qué puede responder, cómo lo vas a comprobar y qué hará cuando falle.
Eso convierte una buena demo en un sistema que puedes usar.
Cinco decisiones para confiar.
- Cita y compruebaLa evidencia
- Define el formatoLa respuesta
- Elige la fuenteEl contexto
- Prepara otra rutaLa continuidad
- Responde sin IAEl respaldo
Cuatro términos, en simple.
- Modelo de lenguaje (LLM)
- Genera texto a partir del contexto que recibe.
- Agente de IA
- Usa un modelo y herramientas para realizar una tarea.
- Contexto
- La información que le das al modelo para responder.
- Validación
- Comprobar la respuesta antes de usarla.
Puede sonar seguro y estar equivocado.
Lo que falta comprobar
¿Dónde aparece esa fecha?
¿La fuente sigue vigente?
Una alucinación es un dato inventado presentado como verdadero.
Generar texto no garantiza decir la verdad.
Recibe contexto
Puede estar incompleto o desactualizado.
Genera una respuesta
Puede completar los huecos con algo plausible.
Tu sistema comprueba
Si no hay evidencia, pide ayuda o se abstiene.
Referencia: OpenAI, por qué alucinan los modelos de lenguaje.
Técnica 01 de 05
Cita y comprueba.
Muestra de dónde sale la respuesta. Separa la cita de la interpretación.
Sin evidencia suficiente, el sistema se abstiene.
Así se ve una respuesta verificable
Ejemplo ficticio · no es un reglamento real
«Adjunta el informe anual».
Fuente de ejemplo · sección 4Interpretación del modelo
Necesitas incluir ese informe en tu solicitud.
Comprobación: la cita existe y sostiene la respuesta.
Técnica 02 de 05
Define el formato.
Pide campos concretos que tu código pueda validar.
JSON Schema fija la estructura y los valores permitidos.
Una respuesta con campos definidos
respuesta.json · ejemplo ficticio
{
"estandar": 7,
"nivel_estimado": 2,
"evidencia_citada":
"Adjunta el informe anual"
}estandar: entero · nivel_estimado: de 1 a 4
evidencia_citada: texto obligatorio
evidencia_citada: texto obligatorio
Formato válido ≠ contenido verdadero.
La evidencia también se comprueba.
Técnica 03 de 05
Elige la fuente.
Si el usuario ya eligió un estándar, usa el documento que le corresponde.
Puedes rastrear qué información entró.
- 01
El usuario elige
Selecciona el estándar que quiere evaluar.
- 02
El sistema busca
Recupera la rúbrica de ese estándar y su versión.
- 03
El modelo responde
Trabaja con ese contexto identificado.
Comprueba: selección, vigencia y reglas relacionadas.
Técnica 04 de 05
Prepara otra ruta.
Si una ruta falla o tarda demasiado, pasa a la siguiente.
Ese cambio automático se llama failover.
- 01
Ruta principal
Claude Code CLI.
↓ Si falla o supera el tiempo límite
- 02
Ruta alternativa
API de Anthropic.
↓ Si tampoco responde
- 03
Respuesta sin IA
Consulta información verificada o informa la limitación.
CLI y API comparten proveedor. El respaldo sin IA cubre esa dependencia.
Comprueba la respuesta por fuera.
La evaluación del propio modelo no basta para dar una respuesta por buena.
Fuentes
¿El dato tiene respaldo?
Pruebas
¿Cumple las reglas del sistema?
Revisión humana
¿El riesgo exige una decisión de alguien?
Referencia: Investigación sobre el sesgo de preferencia propia en evaluadores LLM.
Técnica 05 de 05
Responde sin IA.
Prepara una respuesta por reglas para cuando el modelo no esté disponible.
Mismas entradas, misma salida: eso es determinista.
Qué recibe el usuario
Ejemplo de respuesta de respaldo
No puedo evaluar tu solicitud ahora.
Puedes consultar la rúbrica verificada y volver a intentarlo más tarde.
La limitación queda visible. El sistema no inventa una evaluación.
Tres permisos que juntos elevan el riesgo.
Una instrucción oculta puede intentar sacar datos privados del sistema.
Separa accesos y limita lo que puede salir.
La «trifecta letal» · Simon Willison.
- 01
Datos privados
El agente puede leerlos.
- 02
Contenido no confiable
Lee páginas, correos o archivos externos.
- 03
Salida de datos
Puede enviar información fuera.
Juntos pueden permitir una filtración.
Antes de ponerlo en producción.
- ¿Compruebas las citas contra la fuente?
- ¿Validas los campos de la respuesta?
- ¿Controlas qué fuente recibe el modelo?
- ¿Tienes otra ruta si la principal falla?
- ¿Puedes responder con la IA apagada?
Cada «no» señala algo que necesitas resolver.
Antes de confiar, FRENA.
- FFuente
- ¿Puedes llegar al dato original?
- RRazón
- ¿La conclusión se sostiene?
- EExactitud
- ¿Nombres, fechas y cifras son correctos?
- NNecesario
- ¿Incluye el contexto necesario?
- AAlguien más
- ¿Alguien más lo revisó con evidencia?
Adaptación de TRACK · Harvard Online, Agentic AI Foundations.
«Una computadora no puede rendir cuentas. Por eso, nunca debe tomar decisiones de gestión».
Manual de formación de IBM, 1979.
Cita reproducida por IBM; traducción al español.
Cuando usas IA para decidir, la responsabilidad sigue siendo tuya.
La prueba está en los resultados.
Nuestras proyecciones junto a los conteos oficiales. Una comparación pública que puedes revisar.
src.org.mx/resultados ↗Para seguir investigando.
- Harvard Online · Agentic AI FoundationsCurso de base y checklist TRACK, adaptado aquí como FRENA.
- GDPval · OpenAI, 2025Comparaciones por ocupación. Figura 11.
- METR · marzo de 2025Duración de tareas y tasa de éxito.
- OpenAI · alucinacionesPor qué los modelos generan respuestas falsas.
- Evaluadores LLM · preferencia propiaSesgos al puntuar respuestas.
- Simon Willison · la trifecta letalDatos privados, contenido externo y salida de datos.
- IBM · decisiones y responsabilidadArtículo que reproduce la cita de 1979.
Construyan IA en la que se pueda confiar.
Comprueben la respuesta.
Preparen el sistema para cuando falle.