GPT-4 tornou-se mais estúpido, e foi revelado que a história do cache respondeu: uma piada foi contada 800 vezes, e eu não ouvi a nova

Fonte original: qubits

Fonte da imagem: Gerado por Unbounded AI

Alguns internautas encontraram outra prova de que o GPT-4 se tornou “estúpido”.

Ele questionou:

O OpenAI armazenará em cache as respostas históricas**, permitindo que o GPT-4 reconte diretamente as respostas geradas anteriormente.

O exemplo mais óbvio disso é contar piadas.

Evidências mostram que, mesmo quando ele aumentou o valor da temperatura do modelo, o GPT-4 repetiu a mesma resposta de “cientistas e átomos”.

É o “Por que os cientistas não confiam nos átomos?” Porque tudo é feito “por eles”.

Aqui, é lógico que quanto maior o valor da temperatura, mais fácil é para o modelo gerar algumas palavras inesperadas, e a mesma piada não deve ser repetida.

Não só isso, mas mesmo que não movamos os parâmetros, alteremos o texto, e enfatizemos tê-lo contar uma nova, diferente piada, isso não ajudará.

De acordo com o localizador:

Isso mostra que o GPT-4 não usa apenas cache, mas também consultas clusterizadas em vez de corresponder exatamente a uma pergunta.

Os benefícios disso são evidentes e a velocidade de resposta pode ser mais rápida.

No entanto, desde que eu comprei uma associação a um preço alto, eu só gosto de tal serviço de recuperação de cache, e ninguém está feliz.

Algumas pessoas sentem depois de lê-lo:

Se for esse o caso, não é injusto que continuemos a usar o GPT-4 para avaliar as respostas de outros modelos grandes?

Claro, também há pessoas que não pensam que isso é o resultado de um cache externo, e talvez a repetitividade das respostas no próprio modelo seja tão alta**:

Estudos anteriores mostraram que o ChatGPT repete as mesmas 25 piadas 90% das vezes.

Como o senhor diz isso?

Martelo Real de Evidência GPT-4 com Resposta de Cache

Não só ele ignorou o valor da temperatura, mas este internauta também descobriu:

É inútil alterar o valor superior_p do modelo, o GPT-4 faz exatamente isso.

(top_p: é usado para controlar a autenticidade dos resultados retornados pelo modelo, e o valor é reduzido se você quiser respostas mais precisas e baseadas em fatos, e as respostas que são mais diversas são exibidas)

A única maneira de quebrá-lo é puxar o parâmetro de aleatoriedade n para que possamos obter a resposta “não armazenado em cache” e obter uma nova piada.

No entanto, isso ocorre ao “custo” de respostas mais lentas, pois há um atraso na geração de novos conteúdos.

Vale a pena mencionar que outros parecem ter encontrado um fenômeno semelhante no modelo local.

Foi sugerido que o “prefix-match hit” na captura de tela parece provar que o cache é realmente usado.

Então, a questão é: como exatamente o grande modelo armazena em cache nossas informações de bate-papo?

Boa pergunta, a partir do segundo exemplo mostrado no início, é claro que existe algum tipo de operação de “clustering”, mas não sabemos como aplicá-la a conversas profundas de várias rodadas.

Independentemente dessa pergunta, algumas pessoas viram isso e se lembraram da afirmação do ChatGPT de que “seus dados são armazenados conosco, mas assim que o bate-papo terminar, o conteúdo da conversa será excluído”, e de repente perceberam.

Isso não pode deixar de fazer com que algumas pessoas comecem a se preocupar com a segurança dos dados:

Isso significa que os chats que iniciamos ainda são salvos em seu banco de dados?

É claro que algumas pessoas podem estar pensando demais nessa preocupação:

Talvez seja apenas que nossos caches de incorporação de consultas e respostas sejam armazenados.

Assim, como o próprio descobridor disse:

Não estou muito preocupado com o cache em si.
Estou preocupado que o OpenAI seja tão simples e rude para resumir nossas perguntas para responder, independentemente de configurações como temperatura, e agregar diretamente prompts com significados obviamente diferentes, o que terá um impacto ruim e pode “descartar” muitos aplicativos (baseados em GPT-4).

É claro que nem todos concordam que as descobertas acima provam que a OpenAI está realmente usando respostas em cache.

O raciocínio deles é que o caso adotado pelo autor passa a ser uma piada.

Afinal, em junho deste ano, dois estudiosos alemães testaram e descobriram que 90% dos 1.008 resultados do ChatGPT contando uma piada aleatória eram variações das mesmas 25 piadas.

“Cientistas e átomos” aparece com mais frequência em particular, com 119 vezes.

Assim, você pode entender por que parece que a resposta anterior está armazenada em cache.

Por isso, alguns internautas também propuseram usar outros tipos de perguntas para testar e depois ver.

No entanto, os autores insistem que não precisa ser um problema, e que é fácil dizer se é armazenado em cache apenas medindo a latência.

Finalmente, vamos olhar para esta questão de uma “perspetiva diferente”:

O que há de errado com o GPT-4 contando uma piada o tempo todo?

Não enfatizamos sempre a necessidade de modelos grandes para produzir respostas consistentes e confiáveis? Não, como é obediente (cabeça de cão manual).

Então, o GPT-4 tem caches ou não, e você observou algo semelhante?

Links de referência: