En tierra de indicadores no hay lugar para los charlatanes

Womanity: el empoderamiento de la mujer como camino a la igualdad
noviembre 21, 2017
Las empresas ante la comunidad: hacia un modelo orientado al impacto
diciembre 13, 2017

En tierra de indicadores no hay lugar para los charlatanes

Te invitamos a conocer un ejemplo práctico del proceso de formulación de un indicador para medir la variación de las ventas en un programa de fortalecimiento de micro empresarios informales. ATENCIÓN: no te dejes amedrentar por las fórmulas.

En los últimos 10 años, ZIGLA ha diseñado más de 30 Sistemas de Monitoreo, Evaluación y Aprendizaje (ME&A), y si de algo estamos seguros es de que la piedra fundamental de todo sistema de ME&A son sus indicadores.

Sin embargo, en nuestra experiencia las organizaciones subestiman o bien desconocen cómo conducir un proceso completo y detallado de diseño de indicadores. Por lo general, nos encontramos con Matrices de Indicadores o Marcos Lógicos con un listado de indicadores que en el mejor de los casos contienen una definición narrativa que no alcanza para precisar la metodología de cálculo, el marco temporal ni los criterios que determinan al objeto de medición.

¿Las consecuencias? Indicadores inconsistentes que conducen a interpretaciones múltiples y diseño de instrumentos de recolección de información o sistemas que no se ajustan exactamente a los objetivos con los que se formularon los indicadores. Lo que en última instancia supone tomar decisiones basadas en evidencia incorrecta o poco pertinente.

¡Basta de hablar! ¡Basta de charlatanes! Veamos un ejemplo concreto que ilustra una de las tantas situaciones en las que nos hemos encontrado al revisar o diseñar Sistemas de ME&A.

La escena:

Imaginemos un programa que busca promover el desempeño económico de micro empresas (en su mayoría informales) en algún país de América Latina. Consiste en una capacitación intensiva de 20 clases teóricas y 20 tutorías individuales que se suceden quincenalmente de forma intercalada a lo largo de 10 meses.

Sin lugar a dudas, alguno de los indicadores que esta organización emplee para monitorear, evaluar y rendir cuentas de su programa estará orientado a medir cómo varían las ventas o las ganancias de las micro empresas participantes. Por cuestiones de simplicidad, enfoquémonos en las ventas. Más específicamente, en su variación.

El Coordinador del Programa (CP) se encuentra encerrado con el Especialista en Monitoreo y Evaluación (EM&E). La agenda: Taller de formulación de indicadores sesión 1 de 4.

CP: Listo, ¡ya está! Tengo mi indicador: “Variación % de las ventas de las empresas alcanzadas por el programa”.

EM&E: No es tan simple. Una variación implica implícitamente una referencia temporal.

CP: (Por dentro piensaAy, él usa palabras complejas para decir cosas obvias”). Está bien, tenés razón, sería: “Variación % de las ventas de las empresas alcanzadas por el programa, entre la línea de base y la línea de salida”. ¿Pasamos al siguiente indicador?

EM&E: ¡Pará un poco la moto! ¿A qué momentos o etapas específicas del programa te referís cuando mencionas línea de base y de salida?

CP: ¿Es bastante obvio, no? La línea de salida la tomaría justo cuando está por terminar el programa y la línea de base antes de empezar, por ejemplo con el formulario de inscripción.

EM&E: Mmmmm… puede ser. Pero me queda una duda. Esas ventas… ¿son semanales, mensuales, anuales?

CP: Ah, querés que te detalle todo. Ok. Son anuales. Así que el indicador quedaría algo así como “Variación % de las ventas anuales de las empresas alcanzadas por el programa, entre la línea de base (recolectada en el proceso de inscripción) y la línea de salida (recolectada en la última clase)”.

EM&E: Pero… ¿la mayoría de los participantes del programa son micro empresas informales no?

CP: Sí. ¿Por qué?

EM&E: Porque dudo que estas empresas lleven registros contables de forma sistematizada.

CP: Es cierto. De hecho, los primeros módulos de capacitación buscan promover que los micro empresarios comiencen a registrar apropiadamente sus ingresos y egresos para eventualmente hacer un análisis de costos.

Tengo una idea. Podríamos tomar las ventas mensuales. Comparar las ventas del mes 9 (anteúltimo mes del programa) con las ventas del mes 2, cuando ya se capacitó a los empresarios en el flujo de caja. De esa forma, estoy seguro de que tendríamos la información para la mayoría de los participantes.

EM&E: Mmmm… pero comparar las ventas del mes 9 (ej: septiembre) con las ventas del mes 2 (ej: febrero) ¿no es como comprar peras con manzanas?

CP: Uf sí. De hecho, en febrero las ciudades donde trabajamos están bastante paradas porque mucha gente está de vacaciones.

EM&E: Además, ¿no considerás que todo lo incorporado en el transcurso del proyecto puede tener cierta demora en reflejarse en el desempeño económico de las empresas?

CP: Y sí, la verdad que sí. ¿Entonces? Habría que recoger información del programa en el mes 2 del año t=0, y nuevamente un año después en el mes 2 del año t=1. Así estamos seguros de comparar ventas de un mismo periodo y que se encuentran respaldadas por registros contables.

EM&E: Sí, por ahí vamos. Igual creo que lo mejor sería tomar la línea de salida en el mes 9 del año posterior al programa. Se supone que al finalizar el programa todos los participantes ya implementaron sus registros y entonces podrían suministrarnos información completa del año transcurrido.

CP: Buena idea. De hacerlo así, podríamos evaluar también la tasa de supervivencia al año de las empresas y tener una idea más clara de cómo impactó el programa. ¡Pero, pará!

EM&E: ¿Qué?

CP: ¿Estaríamos comparando las ventas del mes 2 al mes 9 del año de seguimiento con las ventas del mes 2 al mes 9 del año 0? ¡No es justo! Ya a partir del mes 3 o 4 del programa los micro empresarios comienzan a mostrar cambios que se reflejan en sus ventas. ¡Estaríamos subestimando la variación de las ventas!

EM&E: Sí, es cierto. Y, la verdad, no tengo una solución definitiva. Sólo se me ocurre que podríamos calcular ambos indicadores. Uno que tome las ventas de los meses 2 a 9 de ambos años y otro que tome las ventas sólo de los primeros meses, por ejemplo del 2 al 4.

CP: Entonces… aunque no es perfecto, ya tenemos nuestro indicador “Variación % interanual de las ventas de las empresas alcanzadas por el programa, entre la línea de base y la línea de salida”. Se calcularía considerando dos períodos temporales distintos para la línea de base y la línea de salida:

  1. Mes 2 a mes 4 del año de inscripción t=0 y año siguiente t=1
  2. Mes 2 a mes 9 del año de inscripción t=0 y año siguiente t=1

Ahora sí. ¡Ya está!

EM&E: En realidad no, falta algo muy importante.

CP: ¿Qué falta?

EM&E: Armar la fórmula de los indicadores. Vas a ver que al hacerlo siempre surgen dudas nuevas. Además, tarde o temprano alguien va a tener que hacerlo ya sea a la hora de armar un informe, o de configurar el indicador en la plataforma tecnológica que de soporte al Sistema de ME&A ¡Mejor nosotros que ellos.. jaja!

CP: Tenés razón… ¿sería algo así no?

¿Qué pensás?

EM&E: Casi perfecto… ¿qué pasa si hubiese empresas que tardan algunos meses en llevar una contabilidad adecuada? Según esa fórmula, o no se consideran esos casos porque tienen al menos un mes de datos en blanco, o bien uno estaría comparando totales de venta entre línea de salida y línea de base que contienen distinta cantidad de meses; lo que claramente implicaría sobreestimar la variación total de las ventas. Creo entonces que el indicador más apropiado sería algo así:

“Variación % interanual de las ventas mensuales promedio de las empresas alcanzadas por el programa, entre la línea de base y la línea de salida”.

CP: ¡Por favor, decime que ya está!

EM&E: Casi… en realidad el indicador que armamos recién era a nivel de empresa. Sólo falta sumar esas variaciones, dividirlas por la cantidad de empresas consideradas y así obtenemos la variación promedio de las ventas a nivel del programa.

Ahora sí. Ya está. Terminamos la ficha con la definición de un indicador. Nos quedan otros 31 indicadores y ya terminamos.

CP: ¡Y yo que pensé que eras un charlatán cuando decías que definir indicadores llevaba mucho tiempo! Hagamos un break para tomar café, vamos a tener una mañana dura.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *