Este artículo fue escrito por Andrew Ford, Subgerente, Estrategia Internacional - Innovación y Ciencia, Departamento de Industria, Ciencia, Energía y Recursos del Gobierno de Australia.

Las opiniones expresadas en este artículo pertenecen exclusivamente al autor y no representan necesariamente la política o posición oficial del gobierno australiano o de cualquiera de sus agencias.

Los rankings de innovación son muy populares, y no sin razón: nos gusta saber qué tan bien le está yendo a nuestro departamento, industria o incluso país, especialmente cuando lo estamos haciendo bien. Estas clasificaciones generalmente toman la forma de tablas de clasificación basadas en una agregación de múltiples métricas en un solo número. Se han levantado muchas críticas, pero conservan su popularidad porque prometen una clasificación simple y precisa de sus materias, principalmente países o universidades. Naturalmente, los políticos y burócratas con poco tiempo se sienten atraídos por esta promesa de encontrar lo que necesitan saber sobre la innovación o la competitividad de una nación, o la calidad universitaria, en una clasificación simple.

Desafortunadamente, esta promesa no es solo un espejismo, sino una peligrosa falacia, que amenaza con distorsionar políticas y programas en detrimento de los contribuyentes.

Las clasificaciones compuestas incluyen el Índice de Innovación Global (GII), el Índice de Competitividad Global (GCI) y varios Rankings Universitarios del Mundo. El GII y GCI toman múltiples indicadores y los agregan en "pilares", que luego se agregan en la clasificación final.

A pesar de su valor, sus defectos son muchos y solo cubriré los más importantes. Me concentraré en el GII ya que estoy más familiarizado con él, pero se aplican puntos similares a todos ellos.

El mayor problema es que todo el concepto de agregar indicadores dispares en un solo número final es fundamentalmente erróneo

Es importante señalar que los productores del GII no ignoran sus limitaciones. La introducción a la GII de 2019 dice: “La GII no pretende ser la clasificación final y definitiva de las economías con respecto a la innovación . Medir los resultados de la innovación y su impacto sigue siendo difícil… ”Han estado abordando las fallas a lo largo del tiempo, aunque esto significa que las comparaciones de una edición a la siguiente no son válidas. Y a pesar de sus esfuerzos, siguen existiendo problemas importantes.

El mayor riesgo es que los usuarios, sin tiempo ni experiencia para criticar la metodología y las conclusiones, estén utilizando el GII como “el ranking definitivo y definitivo de las economías con respecto a la innovación”, a pesar de los consejos de sus autores.

Concepto no válido

El mayor problema es que todo el concepto de agregar indicadores dispares en un solo número final es fundamentalmente erróneo. Incluso si cada componente fuera preciso, sólido y significativo para el desempeño de la innovación, no hay pruebas de si la combinación de factores es mejor cuando la calificación promedio de cada uno es más alta; es posible que algunos sean desproporcionadamente importantes, algunos sean irrelevantes o incluso que ser "bueno" en varios de los indicadores simultáneamente es en realidad "malo" para el desempeño de la innovación en general.

La elección de indicadores también sesga el resultado hacia una visión particular de lo que hace que un país sea innovador. Esto tiene un efecto pernicioso en la política de innovación al alentar a los gobiernos a esforzarse por lograr el mismo modelo de innovación, cuando en realidad no sabemos que es correcto, o incluso que hay un solo modelo correcto.

Volatilidad

Existe una gran volatilidad en las clasificaciones de un año a otro. Por ejemplo, Singapur ocupó el tercer lugar en 2012, el octavo en 2013, el quinto en 2018 y el octavo en 2019. El GII de 2019 reconoce que "las puntuaciones y las clasificaciones de un año al siguiente no son directamente comparables", pero los gobiernos anuncian un aumento de un lugar y son atacados por la caída de uno.

Los factores que contribuyen a la volatilidad incluyen:

  • sensibilidad de cualquier clasificación a pequeñas fluctuaciones sin sentido en los datos,
  • cobertura y disponibilidad de datos,
  • tratamiento de valores atípicos y perdidos,
  • la muestra de economías en un año dado, y
  • ajustes realizados a la metodología del marco GII.

Dos problemas particularmente graves son el año de referencia y la normalización. Citando del GII 2019:

“Los datos subyacentes al GII no se refieren a un solo año, sino a varios años, dependiendo del último año disponible para cualquier variable dada. Además, los años de referencia para diferentes variables no son los mismos para cada economía. … Se utilizan los indicadores más oportunos para el GII: el 37,3% de los datos obtenidos son de 2018, el 33,3% son de 2017, el 9,3% son de 2016, el 4,8% de 2015 y el pequeño resto del 5,3% de años anteriores.

La mayoría de las variables de GII se normalizan utilizando el PIB o la población ... Sin embargo, esto implica que los cambios interanuales en las variables individuales pueden estar impulsados por el numerador de la variable o por su denominador ".

Apruebo la normalización, particularmente por PIB y población. De lo contrario, es una tontería comparar a China con las Seychelles. Sin embargo, la forma en que se hace esto para el GII significa que los cambios aparentes en el desempeño pueden ser impulsados por problemas de incumplimiento como el crecimiento o la disminución de la población. Dado que el año de referencia no es coherente, los países tampoco se comparan con precisión entre sí en el mismo momento.

Disponibilidad y fuente de datos

Los datos faltantes se manejan de manera problemática. En la edición de 2015 se señala que "Para ser incluidas en el GII, las economías deben tener una cobertura de datos mínima de ... 60% ... Los valores faltantes se indican con 'n / a' y no se consideran ..." Esto puede llevar a resultados ridículos. Por ejemplo, eSwatini superó a Australia un año en “Resultados de tecnología y conocimiento” cuando la mitad de los datos de Swazilandia eran n / a y solo uno de los otros campos lo tenía por delante de Australia, ¡pero hasta ahora supera a todos los demás datos!

Estaba por delante en ese campo porque es un paraíso fiscal, no debido a una ventaja de innovación real. La edición de 2019 ha elevado el listón a una cobertura del 66%, que todavía es demasiado baja: es posible que falte un tercio de los datos de un país, lo que puede distorsionar seriamente las comparaciones. Más del 13% de los países tienen una cobertura inferior al 75% en el subíndice “Producto”.

El GII señala correctamente que “las encuestas de innovación ... no brindan un sentido bueno y confiable de la producción de innovación entre economías”, ¡pero aún utiliza encuestas! Para 2019, “un total de 57 variables son datos duros”, una mejora con respecto a ediciones anteriores. Sin embargo, "un total de 18 variables son indicadores compuestos y 5 son preguntas de la Encuesta de Opinión Ejecutiva del Foro Económico Mundial", todavía hay demasiadas preguntas que se basan en una base de evidencia demasiado limitada; para Australia, "encuesta" significa preguntar a miembros de una sola empresa grupo de presión para obtener su opinión.

Indicadores extravagantes

El GII toma el puntaje promedio de la tabla de clasificación universitaria más controvertida para las tres mejores universidades de un país, sin importar cuántas universidades tenga ese país, claramente una forma inapropiada de comparar Singapur con China. Alguna forma de normalización sería mejor.

Para la inversión relativa en I + D (Gasto Interno Bruto en I + D - GERD - como porcentaje del PIB), cuanto más alto se considera siempre mejor. En realidad, existe una fuerte evidencia de que un valor demasiado alto puede ser perjudicial debido a la disminución de los rendimientos en I + D y los costos de oportunidad en otras áreas.

Animo a todos a que se acerquen a estas clasificaciones compuestas como Wikipedia, no como un depósito de toda la verdad, sino como una colección de enlaces útiles a fuentes de conocimiento real.

La ERGE financiada por el extranjero en realidad puede reflejar las reglas de inversión extranjera en un país, no su capacidad innovadora.

El índice H, otro indicador de "encajar todo en un número" mal construido, se utiliza como indicador de creación de conocimiento.

Mi indicador peculiar favorito, sin embargo, es el costo del despido por despido, definido como:
Suma del plazo de preaviso y la indemnización por despido por despido (en semanas de salario…)… El trabajador es cajero en un supermercado o tienda de abarrotes.

La movilidad laboral es importante para la innovación, pero ¿es este un indicador apropiado? Un número más bajo se ubica mejor en el GII, por lo que se considera favorable a la innovación poder deshacerse del personal a bajo costo, lo cual es cuestionable. No nos dice nada sobre el lado más importante de la movilidad: la facilidad para obtener un nuevo trabajo. No hay nada que cubra eso, ni siquiera tangencialmente, en el GII. La idea de que el período de preaviso y la indemnización por despido de un cajero indique la idoneidad del entorno regulatorio para fomentar la innovación es profundamente poco convincente. Este fue claramente un caso de tomar todos los datos disponibles, pero probablemente los recolectores originales no estaban destinados a este uso particular.

Cómo usar las clasificaciones

Animo a todos a que se acerquen a estas clasificaciones compuestas como Wikipedia, no como el depósito de toda la verdad, sino como una colección de enlaces útiles a fuentes de conocimiento real, acompañados de algunas tonterías. - Andrew Ford

(Crédito de la imagen: Unsplash)