GPT-3.5, GPT-4: Saiba a diferença

O ChatGPT é um aplicativo de chatbot desenvolvido pela OpenAI. Diferentes versões do GPT (como o GPT-3.5 e o GPT-4) são os "cérebros" do chatbot, a inteligência artificial que permite que o ChatGPT reconheça, compreenda e gere texto de maneira semelhante à humana.

GPT-3.5

O GPT-3.5 é uma subclasse da 3ª iteração do Generative Pre-Trained Transformer. É um modelo de linguagem grande baseado na arquitetura do transformador que foi treinado em grandes quantidades de dados de texto para entender e responder em idiomas naturais (como português, inglês, espanhol, francês etc.). Isso é chamado de processamento de linguagem natural. A arquitetura do transformador é mais avançada do que a arquitetura neural recorrente anterior. Em palavras simples, ela ajuda o modelo de linguagem a compreender e apreender melhor o texto.

Os transformadores são capazes de entender melhor o contexto, perceber as conexões entre as palavras em uma frase ou parágrafo e enfatizar as ideias principais em um texto.

O GPT-3.5 tem 175 bilhões de parâmetros de aprendizagem. Na época, esse era o maior número de qualquer outro modelo de linguagem grande. Esses parâmetros são como conexões neurais, quanto mais, melhor. O mais surpreendente é que, em algum momento, quando o número de parâmetros aumenta, o modelo se torna um especialista até mesmo em áreas para as quais ninguém o treinou especialmente: tradução de um idioma para outro, solução de problemas lógicos e matemáticos, por exemplo.

Para tornar a interação com o GPT-3.5 mais natural e segura, foi aplicada uma técnica chamada aprendizado por reforço a partir de feedback humano, em que a entrada humana é utilizada para aprimorar os algoritmos de aprendizado de máquina.

ChatGPT-4 e como ele é diferente do ChatGPT-3.5

O GPT-4 tem 100 trilhões de parâmetros!

O novo modelo é muito mais avançado. Uma diferença importante que chama sua atenção imediatamente é que o GPT-4 aprendeu a reconhecer imagens. Veja o que ele pode fazer:

• descrever o que está na imagem,
• explicar piadas visuais,
• criar uma legenda para uma foto,
• sugerir uma receita com base no alimento da imagem,
• entender gráficos, tabelas e textos escritos à mão.

Por exemplo, com base em um modelo desenhado à mão, o GPT-4 pode escrever o código para a página da Web que você deseja criar.

O GPT-4 também se sai melhor do que seu antecessor no processamento de informações textuais: ele memoriza grandes quantidades de texto para uma melhor compreensão contextual e fornece respostas 40% mais precisas. O GPT-4 pode processar o equivalente a 300 páginas de texto (128.000 tokens) em um único prompt, enquanto o GPT-3.5 pode processar apenas 14 páginas (16.000 tokens).

O GPT-4 é tão inteligente que foi aprovado no exame da Ordem dos Advogados, ficando entre os 10% melhores (o GPT-3.5 acabou ficando atrás dos humanos em cerca de 17%). Em muitos testes, o modelo supera até mesmo os humanos. Especificamente, em testes de matemática, física e química, o GPT-4 superou 88% dos participantes do teste.

*1000 tokens equivalem a cerca de 750 palavras

O GPT-4 supera o GPT-3.5 em muitas áreas diferentes: desde a composição de músicas e roteiros até a redação técnica e traduções de idiomas.

Críticas ao GPT-4

O GPT-4 não é perfeito de forma alguma. Parece-nos que as redes neurais estão melhorando a cada dia, mas um estudo de Stanford em junho de 2023 mostrou que os resultados do GPT-4 se deterioraram desde março.

Teste do GPT-4 e do GPT-3.5 em março e junho de 2023

O modelo apresentou uma degradação significativa do desempenho na solução de problemas matemáticos e na geração de códigos:

• por exemplo, ele teve dificuldade para determinar se o número 17077 era primo,
• e somente 10% do tempo foi capaz de escrever um código funcional em tarefas classificadas como fáceis pelo LeetCode.

Ao mesmo tempo, o GPT-4 mostrou melhorias no raciocínio visual e na resposta a perguntas sensíveis (em que a resposta poderia causar danos ou infringir a lei).

Os críticos desse estudo apontaram possíveis erros na metodologia e observaram que a dinâmica resultante deveria ser vista como mudança de comportamento e não como deterioração.