O novo ChatGPT nos ensina a refrear o entusiasmo com a inteligência artificial

Neste mês, quando a OpenAI apresentou a versão mais recente de seu imensamente popular chatbot ChatGPT, ele tinha uma nova voz com inflexões e emoções semelhantes às humanas. A demonstração on-line também mostrou o bot ensinando uma criança a resolver um problema de geometria.

Para minha tristeza, a demonstração acabou sendo só um chamariz. O novo ChatGPT foi lançado sem a maioria dos novos recursos, entre eles a voz aprimorada (que a empresa disse ter adiado para fazer correções). A capacidade de usar a câmera de vídeo do telefone para obter a análise em tempo real de algo como um problema de matemática também ainda não está disponível.

Em meio ao atraso, a empresa também desativou a voz do ChatGPT, que, segundo alguns, soava como a de Scarlett Johansson, depois que a atriz ameaçou tomar medidas legais, substituindo-a por uma voz feminina diferente.

Por enquanto, o que foi realmente implantado no novo ChatGPT é a capacidade de carregar fotos para que o bot analise. Em geral, o usuário pode esperar respostas mais rápidas e mais lúcidas. O bot também pode fazer traduções de idiomas em tempo real, mas o ChatGPT responderá com sua voz antiga, parecida com a de uma máquina.

No entanto, esse é o principal chatbot que revolucionou o setor de tecnologia, por isso valeu a pena fazer esta resenha. Depois de experimentar o chatbot acelerado ao longo de duas semanas, tive sentimentos contraditórios. Ele foi excelente em traduções de idiomas, mas teve dificuldades com matemática e física. No todo, não vi uma melhoria relevante em relação à última versão, o ChatGPT-4. Definitivamente, eu não deixaria o chatbot dar aulas particulares ao meu filho.

Essa tática, na qual as empresas de inteligência artificial (IA) prometem novos recursos incríveis e entregam um produto incompleto, está se tornando uma tendência que certamente vai confundir e frustrar as pessoas. O Ai Pin, broche de lapela falante que custa US$ 700, da startup Humane, financiada pelo CEO da OpenAI, Sam Altman, foi amplamente criticado por superaquecer e falar coisas sem sentido. Recentemente, a Meta também adicionou aos seus aplicativos um chatbot de IA que teve um mau desempenho na maioria das tarefas anunciadas, como a busca de passagens aéreas na internet.

As empresas estão lançando produtos de IA de forma prematura, em parte porque querem que se use a tecnologia para ajudá-las a aprender como melhorá-la. No passado, quando as empresas lançavam novos produtos de tecnologia, como celulares, o que era mostrado – recursos como novas câmeras e telas mais brilhantes – seria efetivamente vendido. Já com a IA, as empresas estão oferecendo uma prévia de um futuro em potencial, demonstrando tecnologias que estão sendo desenvolvidas e funcionando apenas em condições limitadas e controladas. É possível que um produto maduro e confiável seja lançado – ou não.

A lição a ser tirada de tudo isso é que, como consumidores, devemos resistir ao entusiasmo e adotar uma abordagem lenta e cautelosa da IA. Não deveríamos gastar muito dinheiro em nenhuma tecnologia incompleta até vermos provas de que as ferramentas funcionam como anunciado.

A nova versão do ChatGPT, chamada GPT-4o (“o” de “omni”), agora pode ser testada gratuitamente no site e no aplicativo da OpenAI. O usuário que não paga pode fazer algumas solicitações antes de atingir um tempo limite, e quem tem uma assinatura mensal de US$ 20 pode fazer um número maior de perguntas ao bot.

A OpenAI declarou que sua abordagem iterativa para a atualização do ChatGPT permitiu reunir feedback para fazer melhorias. “Acreditamos que é importante lançar uma prévia de nossos modelos avançados para dar às pessoas um vislumbre de suas capacidades e nos ajudar a entender suas aplicações no mundo real”, disse a empresa em comunicado.

(No ano passado, o “The New York Times” processou a OpenAI e sua parceira, a Microsoft, por usar matérias protegidas por direitos autorais sem permissão a fim de treinar chatbots.)

Veja o que você deve saber sobre a versão mais recente do ChatGPT.

Geometria e física

Para mostrar os novos truques do ChatGPT-4o, a OpenAI publicou um vídeo com Sal Khan, CEO da Khan Academy, organização educacional sem fins lucrativos, e seu filho, Imran. Com uma câmera de vídeo apontada para um problema de geometria, o ChatGPT conseguiu explicar a Imran o passo a passo da solução.

Embora o recurso de análise de vídeo do ChatGPT ainda não tenha sido lançado, consegui enviar ao sistema fotos de problemas de geometria. O ChatGPT resolveu corretamente alguns dos mais fáceis, mas tropeçou em problemas mais complexos.

Em um problema que envolvia a interseção de triângulos, que encontrei em um site de preparação para os exames nacionais do ensino médio dos EUA (SAT), o bot entendeu a pergunta, mas deu a resposta errada.

Taylor Nguyen, professor de física do ensino médio em Orange County, na Califórnia, carregou um problema de física envolvendo um homem em um balanço, bastante frequente em testes avançados de cálculo. O ChatGPT cometeu vários erros lógicos e deu a resposta errada, mas conseguiu se corrigir com base nos comentários de Nguyen. “Fui capaz de orientá-lo, mas sou professor. Como os estudantes perceberiam os erros? Eles vão imaginar que o chatbot está certo.”

Notei que o ChatGPT-4o foi bem-sucedido em alguns cálculos de divisão que seus antecessores fizeram incorretamente; portanto, há sinais de um lento aprimoramento. Mas o programa não desenvolveu uma habilidade matemática básica que já tinha reprovado suas versões anteriores e outros chatbots, incluindo o Meta AI e o Gemini, do Google: a capacidade de contar. Quando pedi ao ChatGPT-4o uma palavra de quatro sílabas que começasse com a letra “W”, ele respondeu: “Wonderful” (que só tem três).

Raciocínio

A OpenAI também destacou que o novo ChatGPT tem um raciocínio mais desenvolvido, ou seja, usa a lógica para dar respostas. Assim, fiz um de meus testes favoritos: pedi que ele gerasse um quebra-cabeça do tipo “Onde está Wally?”. Quando ele mostrou a imagem de um Wally gigante no meio de uma multidão, eu disse que a questão é que ele deveria ser difícil de encontrar. O bot então gerou um Wally ainda maior.

Subbarao Kambhampati, professor e pesquisador de IA da Universidade Estadual do Arizona, também submeteu o chatbot a alguns testes e afirmou que não viu nenhuma melhoria perceptível no raciocínio em comparação com a versão anterior.

Ele apresentou ao ChatGPT um desafio envolvendo blocos: se o bloco C estiver em cima do bloco A e o bloco B estiver separado na mesa, como fazer uma pilha de blocos com o bloco A em cima do bloco B e o bloco B em cima do bloco C, mas sem mover o bloco C?

A resposta é que é impossível organizar os blocos nessas condições, mas, assim como nas versões anteriores, o ChatGPT-4o sempre apresentou uma solução que envolvia a movimentação do bloco C. Nesse e em outros testes de raciocínio, o ChatGPT ocasionalmente foi capaz de usar os comentários do usuário para chegar à resposta correta, o que é uma contradição com a forma como a IA deve funcionar, comentou Kambhampati: “É possível corrigi-lo, mas, ao fazer isso, você está usando a própria inteligência.”

A OpenAI apontou os resultados dos testes que mostraram que o GPT-4o obteve cerca de dois pontos percentuais a mais nas respostas a perguntas de conhecimento geral do que as versões anteriores do ChatGPT, demonstrando que suas habilidades de raciocínio melhoraram ligeiramente.

Idiomas

A OpenAI também anunciou que o novo ChatGPT poderia fazer tradução de idiomas em tempo real, o que ajudaria a conversar com alguém que fala uma língua estrangeira.

Testei o ChatGPT com mandarim e cantonês e confirmei que ele conseguiu fazer uma boa tradução de frases, como “Gostaria de reservar um quarto de hotel para a próxima quinta-feira” e “Quero uma cama king-size”. Mas os sotaques estavam um pouco errados (na verdade, meu chinês não é muito melhor). A OpenAI informou ainda estar trabalhando para melhorar os sotaques.

O ChatGPT-4o também foi excelente como editor. Quando o alimentei com parágrafos que escrevi, ele foi rápido e eficaz na remoção de palavras excessivas e jargões. O desempenho decente do ChatGPT com a tradução de idiomas me dá confiança de que esse recurso se tornará mais útil em breve.

Conclusão

Um dos principais acertos da OpenAI com o ChatGPT-4o foi tornar a tecnologia gratuita para que as pessoas experimentem. Grátis é o preço certo: já que estamos ajudando a treinar esses sistemas de IA com nossos dados, não devemos pagar por eles.

O melhor da IA ainda está por vir, e talvez um dia o bot se torne um bom instrutor de matemática. Mas é importante ver – e ouvir – para crer.

c. 2024 The New York Times Company