Que faut-il pour être un bon évaluateur ?

Cet article a été rédigé par Kizzy Gandy, directeur national, Évaluation des programmes, Kantar Public Australia. Cet article a été publié pour la première fois par Kantar Public sur leur site Web. Lire l'article original ici .

De nombreux collègues évaluateurs me disent que lorsqu'ils vont à un dîner, ils ont du mal à expliquer ce qu'ils font. Dans des moments comme celui-ci, nous pouvons avoir l'impression que notre rôle est compliqué à expliquer par rapport aux professions traditionnelles, par exemple un médecin ou un enseignant.

Simplifier à l'excès notre rôle pour éviter toute confusion est généralement la meilleure approche avec les invités à un dîner. "Salut, je m'appelle Kizzy. J'évalue les programmes pour savoir s'ils sont efficaces. Cependant, avec nos pairs, nous devons reconnaître la complexité de ce que nous faisons car, lorsque nous produisons du bon travail, nous éclairons les décisions en matière de politiques et de programmes qui améliorent la vie des gens. Par conséquent, quelle que soit l'étape de notre carrière, nous devrions régulièrement nous demander « que faut-il pour être un bon évaluateur ? »

Peut-être envisagez-vous de commencer un emploi en évaluation pour la première fois, ou peut-être êtes-vous tombé dans l'évaluation et vous ne savez pas si c'est pour vous. Vous êtes peut-être déjà un évaluateur compétent, mais vous souhaitez continuer à vous améliorer. Une chose qui me préoccupe est de savoir comment les évaluateurs ajouteront de la valeur lorsque l'intelligence artificielle générative, comme ChatGPT, peut faire une grande partie du travail d'un évaluateur.

Dans tous ces cas, comprendre ce qu'il faut pour être un bon évaluateur peut vous aider à planifier votre carrière, à rechercher des opportunités de développement de compétences pertinentes, à avoir un impact social positif et à améliorer votre satisfaction au travail. Vous serez également un meilleur collègue et collaborateur si vous êtes responsable de votre propre performance. Au niveau organisationnel, lorsque les dirigeants comprennent ce qu'il faut pour être un bon évaluateur, ils peuvent développer une stratégie de main-d'œuvre efficace pour permettre aux évaluateurs de réussir.

Compétences en évaluation

Les évaluateurs ont besoin d'une multitude de compétences techniques et générales. Dans l'équipe d'évaluation australienne de Kantar Public, nous utilisons une roue des capacités pour nous aider à concentrer notre apprentissage et notre développement sur les compétences les plus importantes. La roue comprend quatre domaines de compétences techniques : les méthodes d'évaluation, la gestion de projet , la rédaction et le sens commercial. Il comprend également deux domaines de compétences non techniques : la résolution de problèmes et la gestion des relations.

État d'esprit d'évaluation

Pour la plupart de nos projets, nous constatons que les compétences seules ne suffisent pas pour réaliser une évaluation réussie. Dans un contexte de livraison complexe et changeant, ce qu'il faut pour être un bon évaluateur, c'est aussi l'état d'esprit de prioriser ce qui compte, d'être préparé et de rester positif. Laissez-moi vous expliquer avec un exemple.

Un membre de notre équipe a mené une évaluation d'un programme qui est offert dans les écoles primaires. L'organisation qui gérait le programme était sous pression pour expliquer la valeur de son programme après qu'une évaluation précédente ait adopté une approche très étroite à l'emporte-pièce, examiné les résultats indépendants de la volonté du programme et conclu qu'il n'était pas efficace.

Notre évaluateur a co-conçu une théorie du changement et des questions d'évaluation clés avec l'organisation. Elle a considéré :

• Quels sont les résultats qu'il est stratégiquement important de mesurer compte tenu de l'USP (argument de vente unique) de l'organisation ?
• Quels sont les résultats réalistes et pratiques à observer compte tenu de la conception du programme et du calendrier de l'évaluation ?
• Quels problèmes opérationnels pourraient influencer ces résultats et devraient donc être pris en compte dans l'évaluation ?

Cela a amené notre évaluateur à proposer une évaluation théorique qui examinait comment les éléments uniques du programme généraient des avantages pour les participants et comment le programme pourrait être adapté à l'avenir pour maximiser ces avantages.

La mise en œuvre de l'évaluation a coïncidé avec la pandémie de Covid-19, provoquant des obstacles imprévus à la collecte de données dans les écoles. De nouvelles approches de recrutement des participants ont dû être développées en raison du faible taux de participation, et la conception de l'évaluation a dû être modifiée pour s'adapter à un échantillon de plus petite taille. Cela a nécessité à son tour d'autres ateliers de co-conception de dernière minute et des tests utilisateurs pour s'assurer que les changements seraient adaptés à l'objectif et répondraient aux attentes des parties prenantes.

Tout au long de la période de mise en œuvre, notre évaluateur a eu l'état d'esprit suivant :

• Donner la priorité à ce qui compte : elle a communiqué ouvertement et régulièrement avec toutes les personnes impliquées dans l'évaluation pour concevoir une approche qui fournirait des résultats significatifs.
• Soyez prêt : elle a commencé avec la fin en tête (comment l'évaluation serait utilisée), a testé des hypothèses et avait un plan de secours pour ajuster efficacement la mise en œuvre au contexte changeant de la prestation.
• Restez positif : la douleur est inévitable lors de la mise en œuvre des évaluations, mais la souffrance est facultative, elle n'a donc pas laissé les revers l'abattre, ce qui a également aidé notre client à rester positif.

Nous sommes heureux de dire que malgré les limites, l'évaluation a fourni de nouvelles perspectives sur les avantages du programme, ce qui a aidé à orienter les discussions opérationnelles sur la façon dont le programme pourrait être développé à l'avenir. Les personnes impliquées dans l'évaluation ont dit qu'elles appréciaient l'accent mis par notre évaluatrice sur les solutions, sa persévérance et son attitude positive. En raison de son état d'esprit, elle a également accru ses compétences dans tous les domaines de la roue des capacités et a ressenti un fort sentiment d'accomplissement, augmentant sa satisfaction au travail et renouvelant sa passion pour le travail d'évaluation.

Favoriser les bonnes compétences et l'état d'esprit

Chez Kantar Public, nous savons que cette combinaison de compétences et d'état d'esprit, fonctionnant dans un cercle vertueux, est ce qu'il faut pour être un bon évaluateur. Alors que les modèles d'IA comme ChatGPT peuvent rédiger un plan d'évaluation décent et analyser des données simples, gérer l'incertitude, l'ambiguïté et l'adaptation avec empathie pour les parties prenantes est ce qui distingue un bon évaluateur humain.

Nous savons également que les évaluateurs ne développeront pas les compétences et l'état d'esprit nécessaires pour réussir sans le soutien de l'organisation. Notre stratégie de main-d'œuvre intègrela science du comportement et l'évaluation pour garantir que nous créons une culture qui pousse les gens vers le bon état d'esprit et s'aligne sur notre roue des capacités.

Où que vous en soyez dans votre carrière d'évaluateur ou si vous dirigez une organisation d'évaluation, la première étape vers le succès consiste à savoir clairement à quoi ressemble le bien. Nous espérons que cet article vous rapprochera un peu.

👋 Vous pouvez écrire un article comme celui-ci ! Partagez vos réflexions avec une communauté de fonctionnaires. Apprendre encore plus

(Crédit image : Unsplash)