¿Cómo evaluar el impacto de un Programa de Formación para la Empleabilidad?

Nuevos estándares de medición de impacto: análisis y conclusiones sobre el Impact Management Project
mayo 29, 2018
¿Cómo incorporar el enfoque de género en las evaluaciones de programas sociales?
agosto 6, 2018

¿Cómo evaluar el impacto de un Programa de Formación para la Empleabilidad?

Los personajes conceptuales de esta nota son: evaluación de impacto, programas de formación, empleabilidad, oficios, regresión discontinua, antes-después, evaluación experimental, exceso de demanda.

La escena:

Imaginemos un programa orientado a mejorar la empleabilidad de jóvenes provenientes de contextos vulnerables a través de un curso de formación de 6 meses en el que se desarrollan tanto habilidades técnicas como socio emocionales.

El Coordinador del Programa (CP) se encuentra reunido con el Especialista en Monitoreo y Evaluación (E). La agenda: Definir cómo medir el impacto del programa.

(Después de una conversación informal sobre el tránsito y el clima abordan el tema en cuestión).

E: Bueno. Vamos a los que nos compete. ¿Qué andan precisando?

CP: Es bien fácil. Queremos medir el impacto de nuestro programa de formación.

E: A que te referís específicamente cuando hablas de medir el impacto del programa (inquiere con tono burlón) ¿Querés medir la cantidad de jóvenes capacitados? O…

CP: (lo interrumpe) Jajajaja… ya sabes que no. Me refiero a medir el impacto de verdad. Quiero saber si los chicos que pasaron por el programa están ocupados.

E: OK. Para eso no es necesario hacer una evaluación de impacto. Basta con aplicarle un cuestionario a los egresados del programa para conocer su situación laboral actual.

CP: No entiendo. ¿Y por qué decís que eso no es medir el impacto del programa? Para los jóvenes que provienen de contextos de tanta vulnerabilidad estar trabajando es un cambio enorme.

E: Sí. Eso no lo voy a discutir. Pero eso no es medir el impacto. Medir…

CP: (lo interrumpe otra vez) Perdón, pero que los chicos tengan trabajo implica una mejora en su calidad de vida; que tengan un ingreso, una obra social, la oportunidad de aprender y desarrollarse profesionalmente… Y no sólo eso, es un cambio a largo plazo.

E: Estoy 100% de acuerdo con lo que decís.

CP: ¿Y entonces?

E: Evaluar el impacto de un programa no implica necesariamente evaluar cambios en la calidad de vida ni en el largo plazo. Evaluar impacto se reduce a determinar en qué medida el cambio observado en una variable de resultado es consecuencia de una intervención puntual.

CP: Perfecto. Te entiendo. Hay que ver el cambio y no sólo la situación actual. Hay jóvenes que pudieron haber ingresado al programa con un trabajo. Entonces, si ahora hacemos el estudio y encontramos que están trabajando no quiere decir nada.

E: Bueno, sí. En parte es eso lo que te estaba diciendo…

CP: (lo interrumpe) Pero no te preocupes, eso lo podemos solucionar fácil. Al ingresar al programa todos los jóvenes completan un formulario de inscripción que incluye preguntas sobre su situación laboral. Ahí tenemos de todo: si estaba empleado, si ese empleo era formal o no, cuanto ganaba, y muchas otros datos más.

E: Bueno, ves. Ahí nos vamos acercando. Dentro de las metodologías no experimentales de evaluación de impacto, una de ella se llama “antes-después”.

CP: ¿Antes-después? (pregunta con tono burlón). Jajajaj. Dejame adivinar… esta metodología supone comparar la situación laboral del joven ANTES de entrar al programa con su situación DESPUÉS del programa.

E: Si.

CP: ¿Viste? Te dije que era fácil.

E: Sí, antes-después es una metodología de evaluación muy simple que puede incorporarse en prácticamente cualquier programa donde la variable de resultado de estudio no tiende naturalmente a modificarse con el simple paso del tiempo.

CP: Mmmmmm… Ahí creo que te perdí.

E: Claro… imaginemos un programa de nutrición de niños donde la variable de resultados de interés es la altura y el peso. Si tomamos las medidas de los chicos ni bien comienzan el programa y luego al año o dos de su paso por el mismo entonces es muy probable que hayan aumentado su talla. Pero eso no quiere decir que sea por la intervención del programa. Esos niños hubiesen crecido, aunque sea algo, de cualquier forma. Con o sin el programa.

CP: Ah. Ya entendí. Pero… ¿el tiempo sería un problema en nuestro caso?

E: Y creo que sí. Los jóvenes de contextos vulnerables suelen presentar situaciones laborales inestables. Me imagino que la mayoría de los jóvenes que se inscriben al curso lo hacen porque no tienen trabajo, ¿no?

CP: Y sí. Algunos tienen un empleo muy precario, pero la mayoría nada.

E: En ese caso…

CP: (lo interrumpe una vez más)…en ese caso muchos van a conseguir trabajo simplemente porque estaban desocupados y no por haber pasado por el programa. Y entonces ¿qué hacemos?

E: ¿Cuantos chicos se inscriben en el curso?

CP: Y… te diría que 4oo por cada cohorte.

E: Y cuantos aceptan.

CP: Y sólo tenemos 100 cupos.

E: ¿Y cómo seleccionan a esos 100?

CP: Y… ¿porque tanto interés en nuestro proceso de selección?

E: El proceso de selección es fundamental a la hora elegir la metodología de evaluación de impacto más apropiada de un programa de inversión social. ¿Cómo seleccionan a esos 100 candidatos?

CP: Al principio era por orden de inscripción. Pero hace unos años vimos que algunos jóvenes abandonaban el programa y comenzamos a aplicar una serie de criterios para seleccionar a los que creemos le van a sacar más provecho al programa.

E: ¿Y cuáles son esos criterios? ¿Cómo se aplican?

CP: Básicamente son 2 criterios: tienen que tener menos de 25 años y secundario completo. A todos los que cumplen esos criterios, diría que unos 350 jóvenes, los convocamos a una entrevista presencial. De esos 350, hay como mínimo 50 que ni se presentan. A los 300 candidatos que se presentan se les aplica un grilla de evaluación en dónde se evalúan cuestiones socioemocionales como empatía, comunicación, responsabilidad, motivación, etc. La grilla arroja un resultado que va de 1 a 50 y después sencillamente seleccionamos a los mejores 100 candidatos.

E: ¡Excelente! (dice encorvando la espalda y uniendo la punta de los dedos al mejor estilo Sr. Burns).

CP: ¿Y porque tanto entusiasmo?

E: Porque este proceso nos permite elegir entre diversas metodologías de evaluación de impacto.

CP: ¿En serio? ¿Cómo cuáles?

E: Vamos de la opción más rigurosa a la menos rigurosa.

CP: Perfecto.

E: Al tener exceso de demanda en su programa se podría aplicar una evaluación experimental sin afectar el número de beneficiarios. Por ejemplo, podríamos hacer el proceso de selección como lo vienen haciendo hasta ahora, pero en vez de seleccionar a los 100 mejores candidatos, deberíamos pre-seleccionar a los 200 mejores. Y dentro de estos elegir 100 personas al azar. De esta forma tendríamos dos grupos de jóvenes que en promedio serán idénticos. La única diferencia será que 100 harán el programa y otros 100 no. Luego, al año de haber finalizado el programa, podríamos hacer una encuesta telefónica y comparar la situación laboral de los jóvenes que pasaron por el programa con la de aquellos que no.

CP: Ah, como en uno de esos experimentos que hacen los laboratorios.

E: Exacto.

CP: Mmmm… mucho no me cierra. Entiendo que no estamos excluyendo más gente del programa por hacer la evaluación sino que sólo alteramos ligeramente quienes entran y quiénes no. Pero la verdad es que preferiría no tener que cambiar nuestro proceso de selección meritocrático. Ya sé. ¿Por qué no comparamos a los 100 mejores candidatos con los 200 restantes?

E: Lo que pasa es que estaríamos incurriendo en un sesgo de selección. Por algo ustedes consideran que estos jóvenes son los mejores 100 candidatos ¿no?

CP: Te entiendo. Los 100 candidatos que seleccionamos seguro que eran los que más probabilidad de conseguir empleo hubiesen tenido en cualquier caso. Por algo obtuvieron la mejor puntuación en nuestras entrevistas. Eso es un sesgo de selección.

E: ¡Exacto! Lo qué si podríamos hacer sin modificar el proceso de selección es aplicar una metodología que se llama regresión discontinua.

CP: ¿Y eso? Suena complejo.

E: No tanto. Estamos de acuerdo que no podemos comparar a los 100 mejores candidatos con los otros 200. Ahora… ¿qué pasa si ordenamos de mayor a menor puntuación a los candidatos y comparamos a los que quedaron entre las posición 51 y 100 que entraron al programa, con los que quedaron entre las posiciones 101 y 150 que no entraron al programa.

CP: Ah… entiendo a dónde vas. ¿Querés comparar a los que quedaron por poco, con los que no quedaron por poco.

E: ¡Exacto! La idea es que en el límite de la línea de corte de la puntuación con la que se determina quién entra y quién no, los participantes son muy semejantes entre sí.

CP: Me gusta… no tendríamos que cambiar nuestro proceso de selección. Igual ustedes los especialistas siempre tienen un pero… ¿Cuál es?

E: Jajajaja… hazte la fama y échate a dormir. Hay 2 “peros”. En primer lugar este método funciona si se respeta absolutamente la puntuación como criterio para determinar quién entra y quién no. No tiene que haber ningún tipo de ajuste o manipulación una vez realizada la grilla de evaluación. Es decir que sólo entran al programa los 100 candidatos con mejor puntuación.

CP: Te pongo la firma que eso se respeta 100%. Para nosotros es muy importante ser transparentes.

E: Y el segundo “pero”… es que ahora la muestra que nos queda es mucho más pequeña. Ya no tenemos 100 personas en el grupo tratamiento sino 50 o incluso menos. Con lo cual comienza a disminuir la potencia estadística de nuestro estudio.

CP: ¿“Potencia estadística”? Hasta acá llegue. Vamos a buscar un café y después seguimos. Pero si es sólo por una vez pienso que elegir al azar quienes ingresan al programa entre los 200 mejores candidatos no me parece tan mal.

E: Claro… hasta podrían invitarlos a participar del programa dentro de un año, cuando ya hayamos finalizado nuestro estudio.

CP: Me encantó. ¡Te dije que era fácil!

(se ríen y se van a buscar un café; ambos saben que esto recién empieza)

Comments are closed.