Recentemente, André Lopes publicou uma excelente matéria com o título “ChatGPT ficou 'mais burro' ao longo dos meses, afirmam pesquisadores de Stanford e Berkeley”.

Esse assunto viralizou e, inclusive na minha live quinzenal com os alunos do Growth Intelligence, várias pessoas pediram para eu comentar essa notícia.

O estudo aponta deterioração nas respostas dos sistemas GPT-3.5 e GPT-4.

Segundo os cientistas, a precisão das respostas da inteligência artificial (IA) piorou ao longo do tempo, corroborando a percepção que ouvi de algumas pessoas sobre as versões mais recentes do software terem ficado "mais burras". Usuários dos modelos de linguagem GPT-3 e GPT-4 da OpenAI têm relatado há mais de um mês a percepção de um declínio na qualidade das respostas.

Uma das críticas que eu tenho ao estudo é que ele se refere principalmente a perguntas baseadas em matemática, e perguntas baseadas em matemática não são uma forma útil de testar um modelo de linguagem. A razão para isso é que esses modelos são construídos em torno de relações entre palavras, não necessariamente em torno de conceitos matemáticos.

Zagueiro não é treinado para fazer gols

É como esperar que um zagueiro no futebol seja um centroavante cada vez melhor. O fato de o zagueiro estar fazendo menos gols não significa que ele está piorando como zagueiro, a métrica dele não é essa, e ele não é treinado para fazer gols, mas sim para evitá-los.

Pedir a um modelo de linguagem para fazer matemática e melhorar nisso está fora do escopo do que o modelo foi projetado para fazer. O treinamento por trás deles não está tentando torná-los melhores em matemática, mas sim em prever a próxima palavra numa sequência e criar uma frase coerente para nós, humanos, lermos.

A OpenAI, criadora do GPT-4, anunciou que está ciente dessa nova pesquisa e está monitorando os relatórios sobre a suposta diminuição das capacidades do GPT-4. Peter Deng, VP de produto da OpenAI, recentemente tuitou: "Não, nós não tornamos o GPT-4 mais burro, muito pelo contrário. Fazemos cada nova versão mais inteligente que a anterior”. Ele também sugere que a percepção de que o GPT-4 está ficando pior pode ser parcialmente devido ao fato de que as pessoas estão usando o modelo mais intensivamente e, portanto, estão encontrando mais falhas.

Mas por que então tanta gente tem essa sensação de que a inteligência ficou mais burra?

Quando eu me mudei para Portugal, eu não tinha o costume de beber vinho. Eu lembro que chegava no mercado, comprava o mais barato e achava ótimo.

À medida que fui me acostumando e incorporando esse hábito cultural dos portugueses na minha vida, comecei a me familiarizar com a bebida e a aprofundar o meu conhecimento sobre ela.

Isso foi desenvolvendo em mim um paladar mais refinado e um olhar mais crítico. Fiquei mais exigente em relação a qualidade, sabor, textura, atributos que eu nem sabia que se aplicavam a bebidas. Aquele vinho baratinho ficou intragável, mas não foi ele que piorou, fui eu que fiquei mais exigente com os vinhos.

Da mesma forma, à medida que nos tornamos mais experientes em tecnologia, nos tornamos mais críticos em relação à interface do usuário, à funcionalidade, ao design e à experiência geral.

Essa lógica se aplica ao ChatGPT

À medida que os usuários se familiarizam com a tecnologia de inteligência artificial e aprendem mais sobre suas capacidades e limitações, eles podem se tornar mais críticos em relação às respostas. Isso faz parte da evolução não só do ChatGPT, mas também de nós, seres humanos, que precisamos desenvolver as habilidades de pensamento crítico e formulação de perguntas ao chatGPT.

É importante lembrar que, assim como um chef aprimora suas habilidades culinárias ou um designer de tecnologia aprimora um produto, o GPT também está em constante evolução e melhoria. As críticas e feedbacks dos usuários são essenciais para esse processo de aprimoramento, permitindo que o GPT forneça respostas cada vez mais inteligentes e úteis.

Meu vinho baratinho não fará mais parte da mesa, pedirei ao garçom sempre sugestões dos melhores vinhos que irão se adequar ao meu paladar, irei questionar a resposta e pedir outras opções, até decidir. Portanto, é um combinado que o ChatGPT terá de continuar trabalhando nas respostas, e eu sempre serei responsável pela escolha.