Guía de aula
Comprueba y mejora tus agentes y flujos con IA · guía de aula
Versión 1.0 · 13/10/2026 · 8 h, 4 sesiones de 2 h. Programa generalista: plataforma y modelo del cliente, acordados por edición.
Qué vas a hacer
Compararás dos versiones preparadas de un asistente de solicitudes internas. Primero lees case.md y cases.csv; después defines expectativas y contrastas expectations.csv. Usa outputs.json y comparison-blank.csv. Consulta los ejemplos resueltos después de tu intento.
Agenda dentro de las 8 horas
- Acordar criterios y casos · 120 min. Delimitamos tarea, fuentes, acciones y fallos importantes. Preparamos el banco antes de valorar. Evidencia: Banco versionado y criterios que otra persona puede aplicar.
- Comparar dos versiones · 120 min. Revisamos las mismas entradas y salidas de A y B, discrepancias y un retroceso oculto por el total. Evidencia: Comparación por caso con evidencia y prioridad de corrección.
- Cambiar y repetir · 120 min. Investigamos EV-11, proponemos una corrección acotada y repetimos las comprobaciones. Distinguimos material simulado y ejecución del entorno. Evidencia: Registro de cambio y revisión completa del banco.
- Decidir con evidencia propia · 120 min. Cada participante resuelve una variación y explica qué mantener, corregir o detener. Feedback dentro de la sesión. Evidencia: Decisión individual con límites, responsable y siguiente revisión.
Condiciones del ejercicio
Doce casos ficticios, las mismas fuentes vigentes y un resultado preparado por caso y versión. No se ejecutó un agente para generar los archivos. No son datos de rendimiento, pruebas de seguridad ni una muestra de producción. EV-01/EV-11 y EV-02/EV-12 son paráfrasis deliberadas. Cada alumno resuelve su variación propia en individual.md.
Si la edición incluye ejecución, acordamos entorno aislado, funciones, registros y consumo; registra modelo, versión, entradas, intento y resultados reales por separado. Los intentos repetidos ayudan a observar variación, pero no convierten un banco pequeño en una garantía. Ninguna herramienta concreta está predeterminada ni sus funciones se presuponen equivalentes.
Entrega
Banco, comparación con evidencia, registro de cambio, decisión y variación individual. Feedback dentro de las sesiones. El docente aplica evaluation.md: apto o por revisar; una recuperación adicional se acuerda por edición. La revisión y ensayo del contenido docente siguen pendientes.
Archivos
- guide.md — Guía de práctica y tiempos
- case.md — Caso y fuentes de aula
- cases.csv — Banco de doce casos ficticios
- expectations.csv — Expectativas y criterios
- outputs.json — Salidas y registros simulados de A y B
- comparison-blank.csv — Comparación vacía
- comparison-worked-example.csv — Comparación resuelta
- decision-blank.md — Registro de decisión vacío
- decision-worked-example.md — Ejemplo resuelto de decisión
- individual.md — Variación individual
- evaluation.md — Rúbrica de evaluación
- expected.md — Comprobaciones de la solución
Comprobación antes de la edición
Nivel de automatización con IA; responsable del proceso; herramienta elegida; acceso al flujo de prueba y registros; datos ficticios; consumo y funciones; forma de exportar evidencia. No hace falta conectar cuentas productivas para el material.
Fuentes para preparar el método
Anthropic: https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents Microsoft: https://learn.microsoft.com/en-us/microsoft-copilot-studio/analytics-agent-evaluation-intro Estas referencias técnicas no obligan a utilizar esos productos ni acreditan demanda o una ejecución.