O que é preciso para ser um bom avaliador?

Este artigo foi escrito por Kizzy Gandy, Diretor Nacional, Avaliação de Programas, Kantar Public Australia. Este artigo foi publicado pela Kantar Public em seu site. Leia o artigo original aqui .

Muitos colegas avaliadores me dizem que, quando vão a um jantar, lutam para explicar o que fazem. Em momentos como este podemos sentir que o nosso papel é complicado de explicar em comparação com as profissões tradicionais, por exemplo, um médico ou um professor.

Simplificar demais nosso papel para evitar confusão geralmente é a melhor abordagem com convidados para jantares. “Oi, meu nome é Kizzy. Avalio os programas para saber se são eficazes.” No entanto, com nossos colegas, devemos reconhecer a complexidade do que fazemos porque, quando produzimos um bom trabalho, informamos as decisões de políticas e programas que melhoram a vida das pessoas. Portanto, independentemente do estágio da carreira, devemos nos perguntar regularmente “o que é preciso para ser um bom avaliador?”

Talvez você esteja pensando em começar um trabalho de avaliação pela primeira vez, ou talvez tenha caído na avaliação e não tenha certeza se é para você. Você pode já ser um avaliador competente, mas deseja continuar melhorando. Algo que tem estado em minha mente é como os avaliadores agregarão valor quando a inteligência artificial generativa, como o ChatGPT, pode fazer grande parte do trabalho de um avaliador.

Em todos esses casos, entender o que é preciso para ser um bom avaliador pode ajudá-lo a planejar sua carreira, buscar oportunidades relevantes de desenvolvimento de habilidades, causar um impacto social positivo e melhorar sua satisfação no trabalho. Você também será um colega e colaborador melhor se for responsável por seu próprio desempenho. No nível organizacional, quando os líderes entendem o que é preciso para ser um bom avaliador, eles podem desenvolver uma estratégia de força de trabalho eficaz para permitir que os avaliadores tenham sucesso.

habilidades de avaliação

Os avaliadores precisam de uma infinidade de habilidades técnicas e interpessoais. Na equipe de avaliação australiana da Kantar Public, usamos uma roda de capacidade para nos ajudar a focar nosso aprendizado e desenvolvimento nas habilidades mais importantes. A roda inclui quatro áreas de habilidades técnicas: métodos de avaliação, gerenciamento de projetos , redação e perspicácia comercial. Também inclui duas áreas de soft skills: resolução de problemas e gestão de relacionamentos.

Mentalidade de avaliação

Para a maioria dos nossos projetos, descobrimos que as habilidades por si só não são suficientes para fornecer uma avaliação bem-sucedida. Em um contexto de entrega complexo e mutável, o que é preciso para ser um bom avaliador é também a mentalidade de priorizar o que importa, estar preparado e permanecer positivo. Deixe-me explicar com um exemplo.

Um membro de nossa equipe conduziu uma avaliação de um programa executado em escolas primárias. A organização que executou o programa estava sob pressão para explicar o valor de seu programa depois que uma avaliação anterior adotou uma abordagem muito restrita, examinou os resultados além do controle do programa e concluiu que não era eficaz.

Nosso avaliador co-criou uma Teoria da Mudança e Questões Chave de Avaliação com a organização. Ela considerou:

• Quais resultados são estrategicamente importantes para medir, considerando o USP (ponto de venda exclusivo) da organização?
• Que resultados são realistas e práticos de observar, dado o desenho do programa e o cronograma para a avaliação?
• Que questões operacionais podem influenciar esses resultados e, portanto, devem ser consideradas na avaliação?

Isso levou nosso avaliador a propor uma avaliação baseada em teoria que examinasse como os elementos únicos do programa geraram benefícios para os participantes e como o programa poderia ser adaptado no futuro para maximizar esses benefícios.

A implementação da avaliação coincidiu com a pandemia de Covid-19, causando barreiras inesperadas à coleta de dados nas escolas. Novas abordagens para o recrutamento de participantes tiveram que ser desenvolvidas devido à baixa aceitação, e o desenho da avaliação teve que ser alterado para acomodar um tamanho de amostra menor. Isso, por sua vez, exigiu mais workshops de co-design de última hora e testes de usuários para garantir que as mudanças fossem adequadas ao propósito e atendessem às expectativas das partes interessadas.

Durante todo o período de implementação, nosso avaliador teve a seguinte mentalidade:

• Priorize o que importa: ela se comunicou aberta e regularmente com todos os envolvidos na avaliação para criar uma abordagem que fornecesse descobertas significativas.
• Esteja preparado: ela começou com o objetivo em mente (como a avaliação seria usada), testou suposições e tinha um plano de backup para ajustar a implementação com eficiência ao contexto de entrega em mudança.
• Mantenha-se positivo: a dor é inevitável ao implementar as avaliações, mas o sofrimento é opcional, então ela não deixou que os contratempos a derrubassem, o que ajudou nosso cliente a permanecer positivo também.

Temos o prazer de dizer que, apesar das limitações, a avaliação forneceu novos insights sobre os benefícios do programa, o que ajudou a orientar as discussões operacionais sobre como o programa poderia ser desenvolvido no futuro. Os envolvidos na avaliação disseram valorizar o foco da nossa avaliadora nas soluções, sua perseverança e atitude positiva. Por causa de sua mentalidade, ela também aumentou suas habilidades em todas as áreas da roda de capacidade e sentiu um forte senso de realização, aumentando sua satisfação no trabalho e renovando sua paixão pelo trabalho de avaliação.

Promovendo as habilidades e mentalidade certas

Na Kantar Public sabemos que essa combinação de habilidades e mentalidade, funcionando em um círculo virtuoso, é o que é preciso para ser um bom avaliador. Embora modelos de IA como o ChatGPT possam escrever um plano de avaliação decente e analisar dados simples, lidar com incerteza, ambiguidade e adaptação com empatia pelas partes interessadas é o que diferencia um bom avaliador humano.

Também sabemos que os avaliadores não desenvolverão as habilidades e a mentalidade necessárias para serem bem-sucedidos sem o suporte organizacional. Nossa estratégia de força de trabalho integraciência comportamental e avaliação para garantir a criação de uma cultura que leve as pessoas à mentalidade certa e se alinhe com nossa roda de capacidade.

Onde quer que você esteja em sua carreira de avaliação, ou se você liderar uma organização de avaliação, o primeiro passo para o sucesso é ser claro sobre o que é bom. Esperamos que este artigo o aproxime um pouco mais.

👋 Você pode escrever um artigo como este! Compartilhe suas ideias com uma comunidade de servidores públicos. Saber mais

(Crédito da imagem: Unsplash)