_ ** Este artigo foi escrito por Andrew Ford, Gerente Assistente, Estratégia Internacional - Inovação e Ciência, Departamento de Indústria, Ciência, Energia e Recursos do Governo Australiano. ** _

_ ** As opiniões expressas neste artigo são inteiramente de responsabilidade do autor e não representam necessariamente a política ou posição oficial do governo australiano ou de qualquer uma de suas agências. ** _

Os rankings de inovação são muito populares, e não sem razão: nós gostamos de saber o quão bem nosso departamento, indústria ou mesmo país está indo, especialmente quando estamos indo bem. Essas classificações geralmente assumem a forma de tabelas de classificação com base em uma agregação de várias métricas em um único número. Muitas críticas foram levantadas, mas mantêm popularidade porque prometem uma classificação simples e precisa de suas disciplinas, principalmente de países ou universidades. Naturalmente, políticos e burocratas com pouco tempo são atraídos por esta promessa de encontrar o que precisam saber sobre a inovação ou competitividade de uma nação, ou qualidade universitária, em uma classificação simples.

Infelizmente, essa promessa não é apenas uma miragem, mas uma falácia perigosa, que ameaça distorcer políticas e programas em detrimento dos contribuintes.

As classificações compostas incluem o Índice de inovação global (GII), Índice de competitividade global (GCI ) e vários Rankings da World University. O GII e o GCI pegam vários indicadores e os agregam em “pilares”, que são posteriormente agregados na classificação final.

Apesar de seu valor, suas falhas são muitas, e irei cobrir apenas as mais significativas. Vou me concentrar no GII, pois estou mais familiarizado com ele, mas pontos semelhantes se aplicam a todos eles.

** O maior problema é que todo o conceito de agregar indicadores díspares em um único número final é fundamentalmente incorreto **

É importante notar que os produtores do GII não estão cegos às suas limitações. A [introdução ao GII de 2019](https://books.google.dk/books?id=6uilDwAAQBAJ&pg=PA205&lpg=PA205&dq=%E2%80%9CThe+GII+is+not+meant+to+be+the+ classificação + final + e + definitiva + de + economias + com + respeito + para + inovação. + Medindo + inovação + resultados + e + seu + impacto + permanece + difícil% E2% 80% A6% E2% 80% 9D & fonte = bl & ots = UurRohHcBg & sig = ACfU3U2XCWVEK9KdK-zKjxQTvKo5B3BBxQ & hl = en & sa = X & ved = 2ahUKEwjkke2l7pLrAhXIVsAKHYEQAnQQ6AEwAHoECAEQAQ # v = onepage & q =% E2% 80% 9CThe% 20GII% 20is% 20not% 20meant% 20to% 20be% 20the% 20ultimate% 20and% 20definitive% 20ranking% 20of% 20economies% 20com% 20respect% 20to% 20innovation.% 20Measuring% 20innovation% 20outputs% 20and% 20its% 20impact% 20remain% 20difficult% E2% 80% A6% E2% 80% 9D &) diz: "O GII não foi feito para ser o último e classificação definitiva das economias com respeito à inovação. Medir os resultados da inovação e seu impacto continua difícil ... ”Eles têm abordado as falhas ao longo do tempo, embora isso signifique que as comparações de uma edição para a próxima não sejam válidas. E apesar de seus esforços, os principais problemas permanecem.

O maior risco é que os usuários, sem tempo ou expertise para criticar a metodologia e as conclusões, usem o GII como “o ranking final e definitivo das economias com respeito à inovação”, apesar do conselho de seus autores.

Conceito Inválido

O maior problema é que todo o conceito de agregar indicadores díspares em um único número final é fundamentalmente incorreto. Mesmo se cada componente fosse preciso, robusto e significativo para o desempenho da inovação, não há teste para saber se a combinação de fatores é melhor quando a classificação média de cada um é mais alta - é possível que alguns sejam desproporcionalmente importantes, alguns sejam irrelevantes ou mesmo que ser “bom” em vários indicadores simultaneamente é, na verdade, “ruim” para o desempenho geral da inovação.

A escolha dos indicadores também inclina o resultado para uma visão particular do que torna um país inovador. Isso tem um efeito pernicioso na política de inovação ao encorajar os governos a se empenharem no mesmo modelo de inovação, quando não sabemos de fato se está correto, ou mesmo que existe um único modelo correto.

Volatilidade

Existe uma grande volatilidade nas classificações de ano para ano. Por exemplo, Cingapura ficou em 3º em 2012, 8º em 2013, 5º em 2018 e 8º em 2019. O GII 2019 reconhece que "pontuações e classificações de um ano para o outro não são diretamente comparáveis", mas os governos alardeiam um aumento de um lugar e são atacados por uma queda de um.

Os fatores que contribuem para a volatilidade incluem:

  • sensibilidade de qualquer classificação a pequenas flutuações insignificantes nos dados,
  • cobertura e disponibilidade de dados,
  • tratamento de outliers e valores ausentes,
  • a amostra de economias em um determinado ano, e
  • ajustes feitos na metodologia do framework GII.

Dois problemas particularmente graves são o ano de referência e a normalização. Citando o GII 2019:

_ “Os dados subjacentes ao GII não se referem a um único ano, mas a vários anos, dependendo do último ano disponível para uma determinada variável. Além disso, os anos de referência para diferentes variáveis não são iguais para cada economia. ... Os indicadores mais oportunos possíveis são usados para o GII: 37,3% dos dados obtidos são de 2018, 33,3% são de 2017, 9,3% são de 2016, 4,8% de 2015 e o pequeno restante de 5,3% de anos anteriores._

A maioria das variáveis GII são normalizadas usando PIB ou população ... No entanto, isso implica que as mudanças ano a ano em variáveis individuais podem ser impulsionadas pelo numerador da variável ou por seu denominador. ”

Eu aprovo a normalização, principalmente por PIB e população. É um absurdo comparar a China com as Seychelles de outra forma. No entanto, a maneira como isso é feito para o GII significa que mudanças aparentes de desempenho podem ser impulsionadas por questões de não desempenho, como crescimento ou declínio populacional. Uma vez que o ano de referência não é consistente, os países também não estão sendo comparados com precisão uns aos outros no mesmo momento.

Disponibilidade e fonte de dados

A falta de dados é tratada de forma problemática. Na edição de 2015, observa-se que "Para serem incluídas no GII, as economias devem ter uma cobertura de dados mínima de ... 60% ... Os valores ausentes são indicados com 'n / a' e não são considerados ..." Isso pode levar a resultados ridículos. Por exemplo, o eSwatini venceu a Austrália por um ano em “Saída de Conhecimento e Tecnologia” quando metade dos dados Swazi era n / a e apenas um dos outros campos o tinha à frente da Austrália, mas até agora superou todos os outros dados!

Estava à frente nesse campo porque é um paraíso fiscal, não devido a qualquer vantagem real de inovação. A edição de 2019 elevou o nível de cobertura para 66%, o que ainda é muito baixo - um terço dos dados de um país podem estar ausentes, o que pode distorcer seriamente as comparações. Mais de 13% dos países têm cobertura inferior a 75% no subíndice “Produto”.

O GII corretamente observa que “pesquisas sobre inovação ... falham em fornecer um senso bom e confiável de resultados de inovação entre economias”, mas ainda usa pesquisas! Para 2019, “um total de 57 variáveis são dados concretos”, uma melhoria em relação às edições anteriores. No entanto, "um total de 18 variáveis são indicadores compostos e 5 são perguntas de pesquisa da Pesquisa de Opinião Executiva do Fórum Econômico Mundial", ainda muitas perguntas dependem de uma base de evidências muito estreita - para a Austrália, "pesquisa" significa perguntar aos membros de uma única empresa grupo de lobby para obter sua opinião.

Indicadores peculiares

O GII pega a pontuação média da mais polêmica de todas as tabelas da liga universitária apenas para as três melhores universidades de um país, não importa quantas universidades esse país tenha - claramente uma maneira inadequada de comparar Cingapura com a China. Alguma forma de normalização seria melhor.

Para o investimento relativo em P&D (Despesa Interna Bruta em P&D - GERD - como porcentagem do PIB), maior é considerado sempre melhor. Na verdade, há fortes evidências de que muito alto pode ser prejudicial, devido aos retornos decrescentes em P&D e aos custos de oportunidade em outras áreas.

** Eu encorajo todos a abordarem essas classificações compostas como a Wikipedia - não como o repositório de toda a verdade, mas como uma coleção de links úteis para fontes de conhecimento real **

O GERD Financiado pelo Exterior pode, na verdade, refletir as regras de investimento estrangeiro em um país, não sua capacidade de inovação.

O H-Index, outro indicador mal construído de “encaixar tudo em um número”, é usado como um indicador de criação de conhecimento.

Meu indicador peculiar e favorito, no entanto, é o custo de demissão por redundância, definido como: Soma do período de aviso prévio e indenização por demissão por redundância (em semanas de salário ...) ... O trabalhador é caixa em um supermercado ou mercearia.

A mobilidade da mão de obra é importante para a inovação, mas este é um indicador adequado? Um número menor classifica-se melhor no GII, por isso é considerado favorável à inovação ser capaz de dispensar a equipe de forma barata, o que é questionável. Não nos diz nada sobre o lado mais importante da mobilidade - a facilidade de conseguir um novo emprego. Não há nada cobrindo isso, mesmo que tangencialmente, no GII. A ideia de que o período de aviso prévio e a indenização por demissão de um caixa indicam a adequação do ambiente regulatório para estimular a inovação não é profundamente convincente. Este foi claramente o caso de pegar todos os dados disponíveis, mas provavelmente não se destinavam a esse uso específico pelos colecionadores originais.

Como usar classificações

Eu encorajo todos a abordarem essas classificações compostas como a Wikipedia - não como o repositório de toda a verdade, mas como uma coleção de links úteis para fontes de conhecimento real, servidos com alguns pedaços de absurdo. - Andrew Ford

_ (Crédito da imagem: Unsplash) _