¿Qué se necesita para ser un buen evaluador?

Este artículo fue escrito por Kizzy Gandy, Director Nacional, Evaluación de Programas, Kantar Public Australia. Este artículo fue publicado por primera vez por Kantar Public en su sitio web. Lea el artículo original aquí .

Muchos compañeros evaluadores me dicen que cuando van a una cena, les cuesta explicar lo que hacen. En momentos como este, podemos sentir que nuestro papel es complicado de explicar en comparación con las profesiones tradicionales, por ejemplo, un médico o un maestro.

Simplificar demasiado nuestro papel para evitar confusiones suele ser el mejor enfoque con los invitados a una cena. “Hola, mi nombre es Kizzy. Evalúo los programas para saber si son efectivos”. Sin embargo, con nuestros pares, debemos reconocer la complejidad de lo que hacemos porque, cuando producimos un buen trabajo, informamos las decisiones de políticas y programas que mejoran la vida de las personas. Por lo tanto, sin importar la etapa de nuestra carrera, deberíamos preguntarnos regularmente “¿qué se necesita para ser un buen evaluador?”

Tal vez estés pensando en comenzar un trabajo en evaluación por primera vez, o tal vez te caíste en la evaluación y no estás seguro si es para ti. Es posible que ya sea un evaluador competente, pero desea seguir mejorando. Algo que ha estado en mi mente es cómo los evaluadores agregarán valor cuando la inteligencia artificial generativa, como ChatGPT, puede hacer gran parte del trabajo de un evaluador.

En todos estos casos, comprender lo que se necesita para ser un buen evaluador puede ayudarlo a planificar su carrera, buscar oportunidades de desarrollo de habilidades relevantes, tener un impacto social positivo y mejorar su satisfacción laboral. También será un mejor colega y colaborador si es responsable de su propio desempeño. A nivel organizacional, cuando los líderes entienden lo que se necesita para ser un buen evaluador, pueden desarrollar una estrategia de fuerza laboral efectiva para permitir que los evaluadores tengan éxito.

Habilidades de evaluación

Los evaluadores necesitan una multitud de habilidades técnicas y blandas. En el equipo de evaluación australiano de Kantar Public, utilizamos una rueda de capacidades para ayudarnos a centrar nuestro aprendizaje y desarrollo en las habilidades más importantes. La rueda incluye cuatro áreas de habilidades técnicas: métodos de evaluación, gestión de proyectos , redacción y perspicacia comercial. También incluye dos áreas de habilidades blandas: resolución de problemas y gestión de relaciones.

Mentalidad de evaluación

Para la mayoría de nuestros proyectos, encontramos que las habilidades por sí solas no son suficientes para entregar una evaluación exitosa. En un contexto de entrega complejo y cambiante, lo que se necesita para ser un buen evaluador es también la mentalidad para priorizar lo que importa, estar preparado y mantener una actitud positiva. Dejame explicarte con un ejemplo.

Un miembro de nuestro equipo dirigió una evaluación de un programa que se lleva a cabo en las escuelas primarias. La organización que ejecutó el programa estaba bajo presión para explicar el valor de su programa después de que una evaluación anterior tomó un enfoque muy estricto, examinó los resultados más allá del control del programa y concluyó que no era efectivo.

Nuestro evaluador co-diseñó una Teoría del Cambio y Preguntas Clave de Evaluación con la organización. Ella consideró:

• ¿Qué resultados son estratégicamente importantes para medir dado el USP (punto de venta único) de la organización?
• ¿Qué resultados son realistas y prácticos de observar dado el diseño del programa y el marco de tiempo para la evaluación?
• ¿Qué cuestiones operativas podrían influir en estos resultados y, por lo tanto, deberían tenerse en cuenta en la evaluación?

Esto llevó a nuestro evaluador a proponer una evaluación basada en la teoría que examinó cómo los elementos únicos del programa generaron beneficios para los participantes y cómo el programa podría adaptarse en el futuro para maximizar estos beneficios.

La implementación de la evaluación coincidió con la pandemia de Covid-19, lo que provocó barreras imprevistas para la recopilación de datos en las escuelas. Se tuvieron que desarrollar nuevos enfoques para el reclutamiento de participantes debido a la baja aceptación, y se tuvo que cambiar el diseño de la evaluación para acomodar un tamaño de muestra más pequeño. Esto, a su vez, requirió más talleres de codiseño de última hora y pruebas de usuario para garantizar que los cambios fueran adecuados para su propósito y cumplieran con las expectativas de las partes interesadas.

A lo largo del período de implementación, nuestro evaluador tenía la siguiente mentalidad:

• Priorice lo que importa: se comunicó abierta y regularmente con todos los involucrados en la evaluación para diseñar un enfoque que brindara hallazgos significativos.
• Esté preparado: comenzó con el fin en mente (cómo se usaría la evaluación), probó las suposiciones y tenía un plan de respaldo para ajustar de manera eficiente la implementación al cambiante contexto de entrega.
• Manténgase positivo: el dolor es inevitable cuando se implementan evaluaciones, pero el sufrimiento es opcional, por lo que no permitió que los contratiempos la deprimieran, lo que ayudó a nuestro cliente a mantenerse positivo también.

Nos complace decir que, a pesar de las limitaciones, la evaluación brindó nuevos conocimientos sobre los beneficios del programa, lo que ayudó a orientar las discusiones operativas sobre cómo podría desarrollarse el programa en el futuro. Los involucrados en la evaluación dijeron que valoraban el enfoque en soluciones de nuestra evaluadora, su perseverancia y actitud positiva. Debido a su forma de pensar, también aumentó sus habilidades en todas las áreas de la rueda de capacidades y sintió una fuerte sensación de logro, aumentando su satisfacción laboral y renovando su pasión por el trabajo de evaluación.

Fomentar las habilidades y la mentalidad adecuadas

En Kantar Public sabemos que esta combinación de habilidades y mentalidad, funcionando en un círculo virtuoso, es lo que se necesita para ser un buen evaluador. Si bien los modelos de IA como ChatGPT pueden escribir un plan de evaluación decente y analizar datos simples, lidiar con la incertidumbre, la ambigüedad y la adaptación con empatía por las partes interesadas es lo que distingue a un buen evaluador humano.

También sabemos que los evaluadores no desarrollarán las habilidades y la mentalidad necesarias para tener éxito sin el apoyo de la organización. Nuestra estrategia de fuerza laboral integrala ciencia del comportamiento y la evaluación para garantizar que creamos una cultura que impulse a las personas hacia la mentalidad correcta y se alinee con nuestra rueda de capacidades.

Independientemente de dónde se encuentre en su carrera de evaluación, o si dirige una organización de evaluación, el primer paso hacia el éxito es tener claro qué es lo bueno. Esperamos que este artículo te acerque un poco más.

👋 ¡Puedes escribir un artículo como este! Comparta sus pensamientos con una comunidad de servidores públicos. Aprende más

(Crédito de la imagen: Unsplash)