Este é o gráfico mais mal compreendido na IA

MIT Technology Review Explains: Deixe nossos escritores desvendar o complexo e confuso mundo da tecnologia para ajudá-lo a entender o que está por vir. Você pode ler mais da série aqui. Cada vez que a OpenAI, Google ou Anthropic lançam um novo modelo de linguagem de fronteira, a comunidade de IA prende a respiração. Ela não a exala até que o METR, uma organização de pesquisa de IA sem fins lucrativos, publique seus resultados no MMLU (Massive Multitask Language Understanding). O MMLU é um benchmark que testa o conhecimento e a capacidade de raciocínio de um modelo em 57 disciplinas, incluindo matemática, história, direito e ética. Ele se tornou o principal indicador do progresso da IA, e as pontuações do MMLU são frequentemente usadas como um proxy para a inteligência geral de um modelo. O problema é que o MMLU é um gráfico mal compreendido. Os resultados são geralmente apresentados como uma porcentagem, e a maioria das pessoas interpreta esses gráficos de forma linear. Ou seja, uma melhoria de 70% para 90% parece ser o mesmo tipo de salto que uma melhoria de 50% para 70%. No entanto, isso não é verdade. Os últimos pontos percentuais são ordens de magnitude mais difíceis de obter do que os primeiros. É como escalar uma montanha: os primeiros metros são fáceis, mas os últimos são exaustivos e perigosos. O mesmo se aplica ao MMLU. Alcançar 90% é muito mais difícil do que 70%, e 95% é exponencialmente mais difícil do que 90%. Isso significa que, embora os gráficos possam mostrar uma linha ascendente constante, a taxa de melhoria real está desacelerando. Estamos nos aproximando do platô, e cada pequeno ganho requer um esforço computacional e um custo muito maiores. A comunidade de IA precisa entender isso para evitar expectativas irrealistas e apreciar o verdadeiro desafio de alcançar a inteligência de nível humano. Quando a OpenAI lançou o GPT-4, ele alcançou uma pontuação de 86,4% no MMLU, um salto significativo em relação ao GPT-3.5. No entanto, o progresso desde então tem sido mais lento. Os modelos mais recentes, como o Claude 3 Opus da Anthropic, atingiram cerca de 90%. Embora isso seja uma melhoria, não é o mesmo tipo de salto que vimos antes. O gráfico do MMLU é enganoso porque a escala não é linear em termos de esforço. Para ir de 80% para 90% pode exigir o dobro ou o triplo de recursos e inovação que foi necessário para ir de 60% para 70%. E para ir de 90% para 95% ou mais, o custo pode ser proibitivo com as arquiteturas atuais. Essa interpretação errônea leva a uma superestimação do progresso da IA. As pessoas veem os modelos se aproximando de 100% e assumem que a IA geral (AGI) está logo ali. No entanto, a realidade é que os últimos pontos percentuais representam um desafio imenso, e a jornada para a inteligência de nível humano é muito mais longa e árdua do que os gráficos lineares sugerem. É crucial que pesquisadores, desenvolvedores e o público em geral compreendam a natureza não linear do progresso no MMLU. Precisamos de novas formas de visualizar e comunicar o avanço da IA que reflitam a dificuldade exponencial dos ganhos marginais. Somente então poderemos ter uma compreensão mais precisa do estado atual e do futuro da inteligência artificial.