Cómo medir si la capacitación en seguridad funciona

La métrica que prueba que la capacitación en seguridad funciona no es cuántas personas terminaron el curso, sino si las que antes caían en un engaño dejan de caer cuando vuelven a ser probadas semanas después. Todo lo demás (cursos completados, horas registradas, clicks evitados en una campaña) mide actividad, no resultado. Si dirigimos un programa de seguridad y solo podemos reportar completación, estamos reportando que la gente abrió el material, no que cambió su conducta frente a un ataque real. Esa diferencia es la que decide si el presupuesto que defendemos ante la dirección está comprando seguridad o comprando tranquilidad.

La conclusión: la métrica que prueba el cambio es el retest, no la completación

El retest es la única métrica que distingue entre alguien que aprendió y alguien que solo recordó un correo por un rato. Consiste en volver a probar a la persona con un ataque del mismo tipo y dificultad, pero con otro contexto, un tiempo después del fallo, para ver si reconoce el patrón o vuelve a caer. La completación, en cambio, confirma que el material se consumió, y eso no es lo mismo que un cambio de comportamiento sostenido.

Esta distinción tiene respaldo. Existe evidencia revisada por pares de que completar capacitación no predice por sí solo la reducción de fallos reales (Ho et al., IEEE S&P 2025; Lain et al., IEEE S&P 2022). Dicho de otro modo: un equipo puede tener el cien por ciento de cursos completados y seguir entregando credenciales cuando llega el correo correcto. Lo que demuestra el cambio es volver a probar el comportamiento, no acumular constancias.

Por qué la tasa de click y la completación de cursos engañan

La tasa de click y la completación engañan porque miden el momento equivocado y crean una falsa sensación de progreso. La tasa de click de una sola campaña depende tanto del empleado como de qué tan obvia era la simulación: una campaña fácil baja el número y se ve bien en el reporte, sin que nadie se haya vuelto más resistente. Y una tasa de click baja puede convivir con personas que harían click en un pretexto bien construido dirigido a su rol.

La completación tiene el mismo problema, agravado. En estudios reales, la mayoría de los empleados interactúa con el material de capacitación un minuto o menos, así que un curso marcado como terminado puede significar que alguien dejó el video corriendo en otra pestaña. Una [capacitación que se ve bien en el tablero pero no toca la conducta](/blog/por-que-capacitacion-no-funciona) deja el riesgo donde estaba. El problema no es medir, es medir la prueba de vida del programa en vez de su efecto.

Qué es un retest dirigido y cómo se aplica semanas después

Un retest dirigido es una segunda prueba que se envía a quien falló, después de un periodo de espera, usando un ataque equivalente pero distinto al original. La clave está en dos detalles. Primero, el tiempo: si la prueba llega el mismo día de la capacitación, mide memoria fresca, no aprendizaje; un retest que llega semanas más tarde mide si la lección sobrevivió al olvido. Segundo, la variación: si es el mismo correo, la persona puede reconocerlo por la forma sin entender el patrón, así que el retest cambia el contexto y mantiene el tipo de engaño y la dificultad.

El resultado del retest es lo que convierte una capacitación en un dato medible. Si la persona reconoce el ataque, hay evidencia de cambio. Si vuelve a caer, sabemos que el módulo no funcionó para ella y que necesita otra aproximación, no otro certificado. Un solo acierto tampoco basta: la resiliencia se confirma cuando alguien supera varias pruebas seguidas sin caer, distribuidas en el tiempo, no en una sola buena respuesta.

Métricas que sí predicen la reducción de incidentes reales

Las métricas que sí anticipan menos incidentes son las que miden comportamiento bajo presión repetida, no consumo de contenido. La principal es la tasa de reincidencia tras el retest: de las personas que cayeron y recibieron remediación, qué porcentaje vuelve a caer en una prueba equivalente. Una tasa de reincidencia que baja en el tiempo es la señal más cercana a una reducción real de riesgo, porque mide justo lo que un atacante explotaría.

Otras métricas útiles van en la misma dirección. El tiempo de recuperación, es decir, cuántas pruebas necesita una persona para volver a un estado de bajo riesgo después de un fallo, muestra si la remediación funciona rápido o no funciona. La concentración del riesgo, qué áreas o roles acumulan los fallos repetidos, dice dónde poner el esfuerzo en vez de tratar a toda la empresa igual. Y la exposición previa importa: una persona con [credenciales ya filtradas en una brecha](/blog/deteccion-temprana-cuentas-comprometidas) es un objetivo prioritario, porque el atacante ya tiene la mitad del trabajo hecho. Conviene recordar el marco al medir todo esto. El marco 90-5-5 de Cisco estima que cerca del 90 por ciento de las brechas involucran un factor humano, así que la métrica que mueve la aguja es la que prueba que ese factor humano se volvió más resistente, no la que cuenta horas de video.

Cómo leer estas métricas en un reporte para dirección

Un reporte para dirección debe responder una sola pregunta: somos hoy menos vulnerables que hace un trimestre, sí o no. Eso significa liderar con la tendencia de reincidencia tras retest y con cómo cambió la concentración del riesgo, no con la lista de cursos completados. La dirección no necesita saber cuántos correos se enviaron; necesita saber si las personas que eran vulnerables dejaron de serlo y dónde quedan los focos.

El error común es presentar volumen como si fuera resultado. Mil simulaciones enviadas y noventa por ciento de cursos terminados llenan una diapositiva, pero no contestan la pregunta. Una sola curva, la de reincidencia bajando, dice más que diez indicadores de actividad. La regla práctica para construir ese tablero está en cómo se arman los reportes que de verdad informan una decisión, no los que solo demuestran que el programa existe.

Qué pedirle a tu plataforma para medir cambio de comportamiento

Hay que exigirle a la plataforma que pueda probar el cambio, no solo registrarlo. La pregunta concreta para cualquier proveedor es: ¿reenvías de forma automática un ataque equivalente a quien falló, semanas después, y me muestras si volvió a caer? Si la respuesta es que entrega cursos y mide completación, está midiendo actividad. Si reenvía la misma simulación al día siguiente, está midiendo memoria. Solo un retest dirigido y diferido mide aprendizaje.

Vale la pena pedir tres cosas más. Que la remediación llegue en el momento del fallo y sea específica al ataque, no un video genérico, porque una corrección inmediata y breve es la que la gente sí consume. Que la personalización de las pruebas se base en el rol, el comportamiento previo y la exposición real de cada persona, no en envíos iguales para todos. Y que el reporte separe con claridad actividad de resultado, para que nadie confunda un tablero ocupado con un equipo más seguro.

Nosotros construimos Fensivo precisamente alrededor de esa pregunta. La plataforma de gestión de riesgo humano (Human Risk Management, HRM) cierra el ciclo: detecta credenciales expuestas, prueba a cada persona con simulaciones personalizadas, entrega remediación inmediata sobre el fallo y, semanas después, aplica un retest con otra plantilla del mismo tipo para validar que el comportamiento cambió, no que se recordó un correo. Así medimos resiliencia real, no consumo de contenido, y lo dejamos legible en el reporte que la dirección necesita.

¿Si mañana la dirección te pidiera demostrar, con datos, que las personas que cayeron el trimestre pasado ya no caen, podrías hacerlo, o solo podrías mostrar cuántos cursos se completaron?

Fuentes y referencias

• Cisco, "The 90-5-5 Concept: Your Key to Solving Human Risk in Cybersecurity", 27 de mayo de 2025. blogs.cisco.com
• Ho, G. et al., "Understanding the Efficacy of Phishing Training in Practice", 2025 IEEE Symposium on Security and Privacy. ieeexplore.ieee.org
• Lain, D., Kostiainen, K. y Čapkun, S., "Phishing in Organizations: Findings from a Large-Scale and Long-Term Study", 2022 IEEE Symposium on Security and Privacy. ieeexplore.ieee.org