La mise à l'échelle change tout. Comment prédire ses effets?

Les décideurs à tous les niveaux savent ce que c'est que de voir un programme qui a bien fonctionné au stade pilote échouer lorsqu'il est mis à l'échelle. Ce qui fonctionne pour 30 enfants à Loughborough peut ne pas fonctionner pour 1000 à Lagos. Ou même Londres.

Ce n'est pas parce que les idées étaient mauvaises en premier lieu, ou parce que les pilotes eux-mêmes étaient mal gérés, mais parce que l'échelle affecte les projets de différentes manières et, à ce titre, nécessite une approche d'évaluation différente.

L'échelle affecte la performance des projets en partie parce que la taille d'un projet changera son impact fondamentalement, mais aussi parce que différentes cultures, géographies et économies réagiront au même projet de différentes manières. Et la mise à l'échelle des projets destinés aux enfants présente des défis particuliers, allant du consentement des sujets à la recherche de votre public.

Mais il est inutile d'expérimenter si vos résultats ne sont pas susceptibles d'être utiles. Alors, comment les gouvernements peuvent-ils clouer des évaluations qui prédisent mieux le succès à grande échelle?

Le niveau suivant

S'attendre à ce que ce qui a fonctionné dans un petit projet pilote de politique sociale soit reproduit à grande échelle sans ajustements au programme ou à son évaluation peut être fatal.

Le Dr Stephanie Talbut, responsable principale de la qualité du programme à l'organisme de bienfaisance Restless Development, qui évalue les programmes à travers le monde, soutient qu'un tel remaniement doit être correctement financé. Il est essentiel de s'assurer qu'il y a du personnel bien formé qui comprend les défis de l'extension.

Si vous allez évaluer une idée qui s'étend d'un projet pilote de 30 enfants à un programme national de milliers, vous avez besoin de continuité dans la façon dont vous approchez votre évaluation même si ce que vous évaluez va changer.

Même si le cadre d'exécution du programme changera avec l'expansion, les facteurs essentiels que vous testez peuvent toujours être mesurés de façon robuste. Et cela demande de l'expertise. «Vos indicateurs vont changer, votre cadre de résultats va s'étendre et vous allez faire beaucoup plus avec. Cela doit se refléter dans votre budget de personnel », a déclaré Talbut.

Un groupe d'universitaires de l'Université de Yale aux États-Unis a relevé ce défi. L'initiative de recherche de Yale sur l'innovation et l'échelle (YRise) adopte une approche scientifique pour étendre les programmes aux gouvernements et autres organisations à travers le monde.

Yrise examine la différence qu'un pilote à petite échelle a d'un schéma plus large et essaie de comprendre quels sont les changements entre l'environnement bien géré des essais contrôlés randomisés ( ECR ) et la mise en œuvre à grande échelle.

Ahmed Mushfiq Mobarak, directeur de la faculté chez YRise, dit qu'un exemple dans la prestation de la petite enfance est la formation des infirmières maternelles. "Quand vous augmentez les choses, cela commence à affecter le marché", a-t-il dit, "donc les salaires pourraient commencer à baisser si vous formez trop de personnes au même travail."

Le défi pour YRise est donc: «Comment développer un modèle de recherche qui peut prédire ce qui se passera si nous passons de 50 à 500 [infirmières] - comment les salaires pourraient-ils s'ajuster? Nous devons combler l'écart entre les résultats de recherche que nous obtenons et les résultats politiques que nous pourrions nous attendre à voir à grande échelle. »

YRise se concentre sur cinq domaines: l'économie politique - l'impact d'un programme sur les politiciens et les décideurs; preuves - si un programme peut être mis à l'échelle en toute confiance à différents endroits; effets de réseau - les conséquences, prévues ou non, sur l'environnement plus large dans lequel le programme s'exécute; les effets sur la croissance et le bien-être de la zone dans laquelle il se déroule et enfin sur la demande du programme.

Un jeu d'enfant?

Dans les premières années, certains programmes sont plus facilement évolutifs que d'autres.

Selon Mobarak, en termes d'évolutivité, les programmes peuvent être dispensés par le jardin d'enfants, les parents ou les membres de la communauté, au lieu de demander à un expert de sortir pour offrir le programme mieux. Mais cela n'est pas sans difficultés.

«Certaines questions de mise à l'échelle qui pourraient se poser sont: si une organisation de livraison sait bien faire un programme, si vous passez ensuite à un environnement où, pour le rendre évolutif et rentable, vous devez former les populations locales. Mais cela pourrait changer fondamentalement le programme. Cela nécessite donc également un suivi et des recherches. »

Il sera donc important d'apprendre comment déléguer la prestation d'experts externes à des prestataires locaux a un impact - positif ou négatif - sur l'efficacité d'un programme.

Un autre élément clé pour évaluer les programmes destinés aux enfants est la difficulté d'obtenir le consentement des sujets.

Il est vital d'obtenir le consentement des parents à l'évaluation ainsi qu'à la participation à un programme, a déclaré Talbut, car un enfant de cinq ans ne peut pas donner lui-même son consentement. L'obtention de l'adhésion des parents rapporte cependant des dividendes, car «les enfants sont aveuglément, horriblement honnêtes. Vous obtiendrez des données incroyables sans parti pris. Ils ne se soucient pas de vous plaire », a-t-il ajouté.

Talbut a trouvé cela particulièrement difficile lors de l'évaluation de programmes internationaux, où des langues, des normes culturelles et des niveaux d'éducation et d'alphabétisation différents présentent des défis distincts.

Obtenir le consentement des parents nécessite des ressources et une planification minutieuse.

«Si vous formez ou équipez d'autres personnes pour exécuter votre programme, car il est passé du projet pilote à la ville, par exemple», a déclaré Talbut, «ceux qui effectuent la prestation doivent être pleinement formés sur la manière de prendre le consentement, pourquoi vous êtes prendre et ce qui se passe avec les données. Le consentement ne se limite pas à s'assurer qu'un parent a signé un formulaire et que ceux qui effectuent la livraison doivent avoir une compréhension plus large de son rôle dans la réussite du programme. »

Toute cette procédure minutieuse a le potentiel d'être sapée lorsqu'elle est effectuée à grande échelle.

Et Talbut et Mobarak conviennent tous deux de l'importance non seulement de l'évaluation, mais aussi de s'assurer que vous disposez de bonnes données à évaluer en premier lieu.

À grande échelle, une préoccupation soulevée par le Dr Talbut était le «syndrome de la Schtroumpfette». Cela tient au fait que dans les films, vous avez souvent une femme, trop étonnante (et non représentative) qui est là pour répondre aux questions de l'équilibre entre les sexes, car Smurfette était la seule femme Schtroumpf.

Le personnage féminin peut être brillant et un leader, mais lorsque le reste de la distribution est masculin, la représentation globale des femmes dans le film reste non représentative. Comme le dit le Dr Talbut, «lorsque vous augmentez l'échelle d'une évaluation, vous pouvez perdre des études de cas significatives. Vous finissez donc par mettre en évidence le seul bon exemple - vous vous retrouvez avec des Schtroumpfettes. »

Être capable de passer d'une échelle pilote à des projets nationaux et internationaux qui atteignent le même taux de réussite est un objectif auquel tous les décideurs devraient s'intéresser.

Alors que Yrise continue d'examiner la science derrière la réalisation de cela, il sera utile pour nous tous d'avoir des réponses aux questions du professeur Mobarak que tous les programmes devraient d'abord être interrogés avec «Est-ce que ça vaut le coup? Est-ce utile? Est-ce la meilleure façon d'améliorer les résultats des enfants? »

Si la réponse est non, alors un projet n'est utile à aucune échelle. Cependant, quand la réponse est oui, ce n'est que le début du défi: comment garantir qu'il ne s'agit pas seulement d'améliorer la vie des enfants dans de petites poches, mais de comprendre la science derrière cela à grande échelle. - Emma Burnell

(Crédit photo: Foster and Asher / Deathtothestockphoto)