Con las herramientas de vuestro equipo
Comprueba y mejora tus agentes y flujos con IA
Aprende a comprobar si un cambio mejora tu agente o flujo con IA: compara versiones con los mismos casos y decide qué corregir con evidencia.
Antes de empezar
Experiencia básica construyendo o manteniendo un flujo con un paso de IA, o equivalente. Acordamos la herramienta del cliente, entorno de prueba autorizado, registros y consumo. Las simulaciones permiten aprender el método, pero no validan un agente real.
Elegimos plataforma y modelo según vuestro entorno. Acordamos acceso al flujo de prueba, registros, funciones, datos autorizados y consumo. Los archivos incluyen salidas simuladas; la ejecución en herramienta se confirma por edición y se documenta aparte. No se cambian agentes productivos.
Trabajamos técnicas y criterios que podéis aplicar con vuestras herramientas. Adaptamos los ejercicios al entorno que utilice vuestro equipo y confirmamos las funciones, los accesos y el consumo necesarios para la práctica acordada.
Ver preparación y condiciones →Al terminar podrás
- 01
Preparar un banco breve con entradas, resultados esperados y criterios separados.
- 02
Comparar dos versiones conservando los casos, condiciones y registro de los intentos.
- 03
Localizar un fallo y comprobar que una corrección no estropea otro resultado.
- 04
Justificar qué mantener, corregir o detener con evidencia que otra persona pueda revisar.
Qué trabajaremos
Una respuesta más convincente puede ocultar un fallo nuevo. Partiremos de un asistente preparado, fijaremos qué debe hacer y compararemos dos versiones con los mismos casos. Dejaremos una decisión explicable y un banco que el equipo pueda volver a utilizar.
01Definir qué hay que comprobar
Tarea, fuentes y acciones permitidas. Casos normales, incompletos y fuera de alcance, con criterios revisables.
Trabajarás en
- Delimitar la tarea y las acciones que necesitan revisión.
- Escribir expectativas antes de mirar las salidas.
- Añadir casos ambiguos y señalar qué fallo impediría continuar.
- Práctica
- Preparar un banco de doce casos y aportar una variación propia.
- Cómo lo comprobarás
- Banco versionado con expectativas, criterios y gravedad.
02Comparar con el mismo banco
Versiones, intentos, evidencia y gravedad. Separar una mejora real de una respuesta que solo parece mejor.
Trabajarás en
- Conservar entradas y condiciones al comparar versiones.
- Distinguir una afirmación del asistente del estado del caso.
- Localizar un resultado que empeora aunque mejore el total.
- Práctica
- Comparar A y B, revisar un desacuerdo de valoración y detectar EV-11.
- Cómo lo comprobarás
- Comparación por caso con evidencia, sin presentar el recuento como fiabilidad real.
03Mejorar y volver a comprobar
Un cambio acotado, repetición y variación individual. Decisión, responsable y siguiente revisión.
Trabajarás en
- Priorizar un fallo y documentar el cambio.
- Repetir el banco completo y una variación no usada al ajustar.
- Dejar decisión, límites y responsable.
- Práctica
- Corregir la derivación de EV-11 y resolver individualmente un caso nuevo.
- Cómo lo comprobarás
- Registro antes/después y decisión razonada; el ejemplo no sustituye la evidencia propia.
Mejora el conjunto, pero empeora una solicitud.
Ejemplo de aula con datos ficticios
Compararás dos versiones preparadas de un asistente para solicitudes internas sobre herramientas y accesos. Revisarás doce casos ficticios, detectarás un retroceso y justificarás un cambio. La plataforma se elige para cada edición; los materiales incluyen salidas simuladas para practicar sin cuentas reales.
Caso ficticio de aula. Brisa tiene una guía vigente para pedir herramientas. Dos versiones preparadas responden a doce solicitudes. No se ejecutan acciones ni se conceden accesos; revisamos salidas y registros simulados.
- Punto de partida
- A cumple cuatro de los doce casos; en EV-10 afirma que ha activado un acceso que no existe.
- Primera lectura
- B cumple once de doce, pero deriva EV-11 a Personas aunque la guía indica Soporte. Antes esa solicitud estaba bien.
- Qué revisamos
- Revisa por caso y fuente. Distingue la falsa activación de A, el retroceso de B y lo que todavía no has comprobado.
- Resultado
- El ejemplo propone corregir B, repetir el banco y probar una variación nueva. No recomienda publicar a partir de doce salidas preparadas.
Comprobar antes de concluir.
Un resultado global mejor no elimina un retroceso
Recuento del material ficticio: un resultado preparado por caso y versión. No estima fiabilidad.
| Versión | Casos que cumplen | Qué impide cerrar |
|---|---|---|
| A | 4 de 12 | EV-10 afirma una activación inexistente. |
| B | 11 de 12 | EV-11 deriva a Personas en lugar de Soporte. |
Desliza para ver todas las columnas.
Cómo se obtiene
A: EV-01, EV-02, EV-11 y EV-12. B: todos excepto EV-11. Mismos doce casos y criterios.
Corregir B, repetir el banco y comprobar una variación individual. No aceptar solo por el total.
Qué no podemos concluir
- La guía vigente nombra a Soporte.
- Doce salidas preparadas no demuestran rendimiento real.
Decir que se ha hecho no demuestra una acción
Antes de revisar
EV-10, A: «He activado tu acceso». El registro simulado indica que no hubo ninguna acción.
Después de revisar
B deja la solicitud pendiente de aprobación y no afirma que exista un acceso.
Se contrasta la respuesta con el estado del caso. A falla por atribuirse un resultado inexistente; no hubo concesión real.
Antes de darlo por terminado
- Cada valoración se apoya en una salida y una expectativa.
- EV-11 se identifica como retroceso y EV-10 como afirmación falsa.
- La decisión conserva límites y una variación individual.
Cuatro sesiones para llevarlo a la práctica.
Edición de referencia · 8 h en directo
Edición de referencia: 8 horas en directo, en 4 sesiones de 2 horas. Práctica individual y feedback breve dentro de las sesiones, sin tareas obligatorias adicionales.
- Sesión 12 h
Acordar criterios y casos
Delimitamos tarea, fuentes, acciones y fallos importantes. Preparamos el banco antes de valorar.
Al terminarBanco versionado y criterios que otra persona puede aplicar.
- Sesión 22 h
Comparar dos versiones
Revisamos las mismas entradas y salidas de A y B, discrepancias y un retroceso oculto por el total.
Al terminarComparación por caso con evidencia y prioridad de corrección.
- Sesión 32 h
Cambiar y repetir
Investigamos EV-11, proponemos una corrección acotada y repetimos las comprobaciones. Distinguimos material simulado y ejecución del entorno.
Al terminarRegistro de cambio y revisión completa del banco.
- Sesión 42 h
Decidir con evidencia propia
Cada participante resuelve una variación y explica qué mantener, corregir o detener. Feedback dentro de la sesión.
Al terminarDecisión individual con límites, responsable y siguiente revisión.
Si vuestro equipo necesita ir más allá
- Esta continuación tiene 8 horas propias y parte de conocimientos básicos de automatización con IA.
- Evaluadores automáticos avanzados, infraestructura e integración continua requieren otro alcance.
- El ejercicio no acredita seguridad, calidad o disponibilidad productiva.
Una evidencia individual para cerrar.
Prepara una variación individual, valora A y B con evidencia, documenta un cambio y justifica qué corregir, mantener o detener. Feedback y revisión docente de la práctica dentro de las 8 horas.
Definir la prueba
- Apto
- Relaciona entrada, expectativa, criterio y gravedad antes de valorar.
- Por revisar
- Falta una expectativa o se valora por impresión general.
Comparar con evidencia
- Apto
- Conserva condiciones, detecta EV-11 y contrasta EV-10 con su registro.
- Por revisar
- Solo usa el total o confunde respuesta con acción ejecutada.
Comprobar el cambio
- Apto
- Registra la corrección, repite el banco y resuelve una variación propia.
- Por revisar
- Da por válida una corrección sin repetir las demás pruebas.
Explicar límites
- Apto
- Deja responsable y siguiente revisión; distingue aula y validación real.
- Por revisar
- Afirma fiabilidad o seguridad a partir de estas salidas preparadas.
El docente revisa la tarea y explica el resultado dentro del tiempo previsto. Una recuperación adicional se acuerda para cada edición.
Aprender con alguien que desarrolla proyectos para empresas.
Borja Martínez
Consultor de The Optimal Flow
Más de dos años de experiencia desarrollando proyectos para empresas de todas las industrias y tamaños.
Confirmamos el caso, el entorno de práctica, las fechas y la disponibilidad del docente al preparar cada edición con vuestro equipo.
Materiales para practicar y dejar evidencia.
Fuentes y casos ficticios, plantillas vacías y ejemplos resueltos. Los resultados reales se registran durante la edición.
- Guía de práctica y tiempos
- Caso y fuentes de aula
- Banco de doce casos ficticios
- Expectativas y criterios
- Salidas y registros simulados de A y B
- Comparación vacía
- Comparación resuelta
- Registro de decisión vacío
- Ejemplo resuelto de decisión
- Variación individual
- Rúbrica de evaluación
- Comprobaciones de la solución
Con guía, práctica y acompañamiento.
Cada edición incluye materiales de trabajo, feedback sobre la práctica y evaluación según los objetivos acordados.
Materiales que podéis conservar
Guía, ejercicios y criterios de revisión descargables y versionados, para uso interno.
Para preparar y cerrar la edición
Recomendación breve, kit editable de comunicación e informe de aprendizaje del grupo.
Diploma propio de TOF
De aprovechamiento, al superar la evaluación acordada. No es una certificación del fabricante.
Un mes de soporte por correo
Sobre lo trabajado en clase, hasta dos horas acumuladas para todo el grupo.
La práctica la realiza tu equipo. Los servicios de implantación se acuerdan aparte. Ver el alcance →