Cet article est rédigé par Andrew Ford, directeur adjoint, Stratégie internationale - Innovation et science, ministère de l'Industrie, des Sciences, de l'Énergie et des Ressources du gouvernement australien.

Les opinions exprimées dans cet article sont entièrement celles de l'auteur et ne représentent pas nécessairement la politique ou la position officielle du gouvernement australien ou de l'une de ses agences.

Les classements de l'innovation sont très populaires, et non sans raison: nous aimons savoir dans quelle mesure notre département, notre industrie ou même notre pays se débrouillent, surtout lorsque nous nous débrouillons bien. Ces classements prennent généralement la forme de tableaux de classement basés sur une agrégation de plusieurs mesures en un seul nombre. De nombreuses critiques ont été émises, mais elles conservent leur popularité car elles promettent un classement simple et précis de leurs matières, principalement des pays ou des universités. Naturellement, les politiciens et les bureaucrates qui manquent de temps sont attirés par cette promesse de trouver ce qu'ils doivent savoir sur l'innovation ou la compétitivité d'un pays, ou la qualité universitaire, dans un simple classement.

Malheureusement, cette promesse n'est pas seulement un mirage, mais une erreur dangereuse, qui menace de fausser les politiques et les programmes au détriment des contribuables.

Les classements composites comprennent l' indice mondial de l'innovation (GII), l'indice de compétitivité mondiale (GCI) et plusieurs classements mondiaux des universités. Le GII et le GCI prennent plusieurs indicateurs et les regroupent en «piliers», qui sont ensuite regroupés dans le classement final.

Malgré leur valeur, leurs défauts sont nombreux, et je ne couvrirai que les plus significatifs. Je me concentrerai sur le GII tel que je le connais le mieux, mais des points similaires s'appliquent à tous.

Le plus gros problème est que tout le concept d'agrégation d'indicateurs disparates en un seul chiffre final est fondamentalement malsain.

Il est important de noter que les producteurs du GII ne sont pas aveugles à ses limites. L' introduction du GII 2019 dit: «Le GII n'est pas censé être le classement ultime et définitif des économies en matière d' innovation . Mesurer les résultats de l'innovation et son impact reste difficile… »Ils ont corrigé les défauts au fil du temps, même si cela signifie que les comparaisons d'une édition à l'autre ne sont pas valables. Et malgré leurs efforts, des problèmes majeurs subsistent.

Le plus grand risque est que les utilisateurs, n'ayant ni le temps ni l'expertise pour critiquer la méthodologie et les conclusions, utilisent le GII comme «le classement ultime et définitif des économies par rapport à l'innovation», malgré les conseils de ses auteurs.

Concept invalide

Le plus gros problème est que tout le concept d'agrégation d'indicateurs disparates en un seul chiffre final est fondamentalement malsain. Même si chaque composant était précis, robuste et significatif pour la performance de l'innovation, il n'y a pas de test pour savoir si la combinaison de facteurs est meilleure lorsque la note moyenne de chacun est plus élevée - il est possible que quelques-uns soient disproportionnellement importants, certains ne soient pas pertinents, ou même que être «bon» dans plusieurs des indicateurs simultanément est en fait «mauvais» pour la performance globale de l'innovation.

Le choix des indicateurs biaise également le résultat vers une vision particulière de ce qui rend un pays innovant. Cela a un effet pernicieux sur la politique d'innovation en encourageant les gouvernements à tous s'efforcer d'atteindre le même modèle d'innovation, quand on ne sait pas vraiment qu'il est correct, ou même qu'il existe un seul modèle correct.

Volatilité

Il y a une forte volatilité dans les classements d'année en année. Par exemple, Singapour est arrivé 3e en 2012, 8e en 2013, 5e en 2018 et 8e en 2019. Le GII 2019 reconnaît que «les scores et les classements d'une année à l'autre ne sont pas directement comparables», mais les gouvernements annoncent une hausse de un endroit et sont attaqués pour une chute d'un.

Les facteurs qui contribuent à la volatilité comprennent:

  • sensibilité de tout classement aux petites fluctuations insignifiantes des données,
  • couverture et disponibilité des données,
  • traitement des valeurs aberrantes et manquantes,
  • l'échantillon d'économies d'une année donnée, et
  • ajustements apportés à la méthodologie du cadre GII.

Deux problèmes particulièrement graves sont l'année de référence et la normalisation. Citant le GII 2019:

«Les données qui sous-tendent le GII ne se réfèrent pas à une seule année mais à plusieurs années selon la dernière année disponible pour une variable donnée. De plus, les années de référence pour différentes variables ne sont pas les mêmes pour chaque économie. … Les indicateurs les plus opportuns sont utilisés pour l'IIG: 37,3% des données obtenues sont de 2018, 33,3% de 2017, 9,3% de 2016, 4,8% de 2015 et le petit reste de 5,3% des années précédentes.

La plupart des variables GII sont normalisées à l'aide du PIB ou de la population ... Pourtant, cela implique que les variations d'une année sur l'autre des variables individuelles peuvent être déterminées soit par le numérateur de la variable, soit par son dénominateur.

J'approuve la normalisation, notamment par le PIB et la population. Il est absurde de comparer la Chine aux Seychelles autrement. Pourtant, la façon dont cela est fait pour le GII signifie que les changements de performance apparents peuvent être dus à des problèmes de non-performance tels que la croissance ou le déclin de la population. L'année de référence n'étant pas cohérente, les pays ne sont pas non plus comparés avec précision les uns aux autres au même moment.

Disponibilité et source des données

Les données manquantes sont traitées de manière problématique. Dans l'édition 2015, il est noté que «Pour être inclus dans le GII, les économies doivent avoir une couverture de données minimale de… 60%… Les valeurs manquantes sont indiquées par« n / a »et ne sont pas prises en compte…» Cela peut conduire à résultats ridicules. Par exemple, eSwatini a battu l'Australie un an pour les «produits de la connaissance et de la technologie», alors que la moitié des données swazies étaient n / a et qu'un seul des autres domaines avait devancé l'Australie, mais jusqu'à présent, elles l'emportaient sur toutes les autres données!

Il était en avance dans ce domaine parce que c'est un paradis fiscal, pas en raison d'un réel avantage d'innovation. L'édition 2019 a relevé la barre à 66% de couverture, ce qui est encore beaucoup trop bas - un tiers des données d'un pays peut manquer, ce qui peut sérieusement fausser les comparaisons. Plus de 13% des pays ont une couverture inférieure à 75% dans le sous-indice «Production».

Le GII note à juste titre que «les enquêtes sur l'innovation… ne parviennent pas à donner une idée fiable et fiable de la production d'innovation inter-économies», mais utilise toujours des enquêtes! Pour 2019, «un total de 57 variables sont des données concrètes», une amélioration par rapport aux éditions précédentes. Cependant, «un total de 18 variables sont des indicateurs composites et 5 sont des questions d'enquête issues de l'enquête d'opinion des dirigeants du Forum économique mondial», encore trop de questions reposent sur une base de données trop étroite - pour l'Australie, «enquête» signifie poser des questions aux membres d'une seule entreprise groupe de pression pour leur avis.

Indicateurs originaux

Le GII prend le score moyen du plus controversé de tous les tableaux de classement des universités pour les trois meilleures universités d'un pays, quel que soit le nombre d'universités dans ce pays - une manière clairement inappropriée de comparer Singapour à la Chine. Une certaine forme de normalisation serait préférable.

Pour les investissements relatifs en R&D (dépenses intérieures brutes de R&D - DIRD - en pourcentage du PIB), un investissement plus élevé est considéré comme toujours meilleur. En fait, il y a de fortes preuves que trop élevé peut être nocif, en raison de la diminution des rendements de la R&D et des coûts d'opportunité dans d'autres domaines.

J'encourage tout le monde à aborder ces classements composites comme Wikipedia - non pas comme le référentiel de toute la vérité, mais comme une collection de liens utiles vers des sources de connaissances réelles

La DIRD financée par l'étranger peut en fait refléter les règles d'investissement étranger dans un pays, et non sa capacité d'innovation.

L'indice H, un autre indicateur mal construit «tout ranger dans un seul chiffre», est utilisé comme indicateur de la création de connaissances.

Mon indicateur original préféré, cependant, est le coût du licenciement, défini comme:
Somme du préavis et de l'indemnité de licenciement pour licenciement (en semaines de salaire…)… Le travailleur est caissier dans un supermarché ou une épicerie.

La mobilité de la main-d'œuvre est importante pour l'innovation, mais s'agit-il d'un indicateur approprié? Un nombre inférieur se classe mieux dans le GII, il est donc considéré comme favorable à l'innovation de pouvoir vider le personnel à bas prix, ce qui est discutable. Cela ne nous dit rien sur l'aspect le plus important de la mobilité: la facilité à trouver un nouvel emploi. Il n'y a rien qui couvre cela, même tangentiellement, dans le GII. L'idée selon laquelle la période de préavis et l'indemnité de départ d'un caissier indiquent la pertinence de l'environnement réglementaire pour encourager l'innovation n'est pas convaincante. Il s'agissait clairement de prendre toutes les données disponibles, mais elles n'étaient probablement pas destinées à cet usage particulier par les collecteurs d'origine.

Comment utiliser les classements

J'encourage tout le monde à aborder ces classements composites comme Wikipédia - non pas comme le référentiel de toute la vérité, mais comme une collection de liens utiles vers des sources de connaissances réelles, servies avec quelques bribes d'absurdités. - Andrew Ford

(Crédit photo: Unsplash)