Cuando graduar estudiantes se convierte en la meta (los riesgos de la eficiencia terminal)

La educación tiene una paradoja difícil de resolver, queremos que nuestros estudiantes permanezcan en las aulas, concluyan sus estudios y obtengan un título, pero también queremos que ese título represente conocimientos, habilidades y competencias reales.

Ambas cosas parecen exactamente lo mismo; sin embargo, no necesariamente lo son.

Y ahí comienza el problema de uno de los indicadores más utilizados para evaluar el desempeño de los sistemas educativos, la eficiencia terminal.

La eficiencia terminal es una medida de cuántos estudiantes que ingresaron a un determinado nivel educativo consiguen concluirlo dentro del periodo considerado. Su propósito es incuestionablemente loable. Una institución educativa en la que una gran proporción de sus alumnos abandona sus estudios, reprueba repetidamente o permanece durante años sin conseguir egresar tiene un problema que debe atender.

Detrás de cada estudiante que abandona una carrera puede haber dificultades económicas, familiares, académicas, psicológicas o sociales. Reducir esas barreras y lograr que más jóvenes concluyan una licenciatura constituye, sin duda, un objetivo socialmente deseable.

De hecho, aumentar la eficiencia terminal puede significar que una universidad está haciendo mejor su trabajo. Programas de tutoría, asesorías académicas, cursos de regularización, acompañamiento psicológico, becas, flexibilización administrativa y mecanismos para detectar tempranamente a estudiantes en riesgo pueden conseguir que jóvenes que de otro modo abandonarían sus estudios logren recuperarse y graduarse. En este sentido, elevar la eficiencia terminal no solamente es legítimo, puede ser una de las expresiones más importantes de una universidad socialmente responsable.

El problema aparece cuando el indicador deja de ser una herramienta para conocer la realidad educativa y comienza a convertirse en el objetivo que la institución debe alcanzar a toda costa. Aquí aparece una distinción fundamental, graduar estudiantes no es exactamente lo mismo que formar estudiantes.

Una universidad puede incrementar el número de egresados reduciendo el abandono y ayudando a los alumnos a superar sus dificultades académicas. Pero también puede hacerlo, consciente o inconscientemente, mediante mecanismos mucho menos deseables, disminuyendo los niveles de exigencia, flexibilizando excesivamente los criterios de evaluación, multiplicando las oportunidades extraordinarias para aprobar, modificando criterios de acreditación o trasladando hacia adelante problemas de aprendizaje que finalmente aparecen cuando el estudiante se enfrenta a evaluaciones externas o al mundo profesional.

No afirmo que esto esté ocurriendo necesariamente en una institución determinada.

Sería incorrecto concluirlo únicamente a partir del comportamiento de la eficiencia terminal. Lo que sí puede afirmarse es que el diseño de un sistema de indicadores puede generar incentivos para que las instituciones optimicen aquello que se mide, incluso cuando aquello que se mide representa solamente una parte del objetivo real.

Este fenómeno tiene un nombre conocido en la economía y en las ciencias sociales, el “efecto cobra”.

La historia que dio origen al concepto cuenta que durante la India colonial, las autoridades británicas preocupadas por la cantidad de cobras venenosas en Delhi ofrecieron una recompensa por cada serpiente muerta. Inicialmente, la estrategia parecía funcionar. Sin embargo, algunas personas descubrieron que podían obtener mayores beneficios criando cobras en cautiverio y entregándolas después para cobrar la recompensa. Cuando las autoridades descubrieron el mecanismo y cancelaron el programa, los criadores liberaron las serpientes que habían acumulado. El resultado habría sido exactamente contrario al propósito original, una política destinada a disminuir el problema podía terminar incrementándolo. Aunque la historicidad de la anécdota ha sido cuestionada, el concepto se ha convertido en una metáfora ampliamente utilizada para describir los incentivos perversos, cuando una medida destinada a resolver un problema modifica el comportamiento de los actores de tal manera que termina produciendo consecuencias no deseadas.

La educación es particularmente vulnerable a este fenómeno porque muchos de sus objetivos más importantes son difíciles de medir.

Es relativamente sencillo contar cuántos estudiantes ingresan, cuántos abandonan, cuántos permanecen y cuántos se gradúan. Es mucho más difícil medir cuánto aprendieron, qué tan profundamente comprenden una disciplina, si pueden resolver problemas nuevos, si saben interpretar evidencia científica, si pueden tomar decisiones profesionales complejas o si poseen las competencias necesarias para desenvolverse adecuadamente después de obtener el título.

La eficiencia terminal, por tanto, es un indicador de trayectoria educativa, no un indicador directo de aprendizaje. El problema surge cuando confundimos ambos conceptos.

Una universidad podría aumentar su eficiencia terminal y, simultáneamente, mantener o incluso disminuir el nivel promedio de competencias de sus egresados. También podría ocurrir exactamente lo contrario, una institución con mayor exigencia académica podría presentar inicialmente una eficiencia terminal menor porque algunos estudiantes no alcanzan los estándares establecidos, mientras que sus egresados podrían mostrar mejores resultados en evaluaciones externas o en el ejercicio profesional.

Esta tensión puede entenderse mediante una idea ampliamente discutida en la evaluación de organizaciones, la ley de Goodhart. En términos sencillos, cuando una medida se convierte en el objetivo que determina recompensas, sanciones o reconocimiento institucional, los actores comienzan a optimizar la medida.

En otras palabras, el problema no es medir la eficiencia terminal; el problema es creer que la eficiencia terminal es sinónimo de calidad educativa. ¿Qué ocurre si logramos que más estudiantes lleguen al final de una carrera, pero no nos preguntamos con el mismo rigor qué saben al llegar allí?

El riesgo está en tener una eficiencia terminal alta y asumir, sin comprobarlo, que eso significa que la universidad está formando mejor.

El verdadero éxito de una institución educativa no ocurre cuando consigue que un estudiante llegue al último semestre. Tampoco cuando imprime su título. Ocurre cuando ese título conserva su significado. Porque una universidad no existe para producir egresados, existe para formar personas capaces de hacer aquello que su educación les prometió que serían capaces de hacer.

Y si alguna vez descubrimos que el indicador que diseñamos para evitar que los estudiantes abandonaran el sistema está contribuyendo, aunque sea indirectamente, a que algunos abandonen el aprendizaje, entonces habremos encontrado un clásico efecto cobra, una política concebida para resolver un problema que, al convertirse en objetivo, corre el riesgo de crear otro.

La solución no es eliminar la eficiencia terminal, es dejar de verla sola. Más estudiantes terminando es una buena noticia. Más estudiantes aprendiendo, sin rebajar el estándar, es la verdadera meta.