GPT-4 se volvió más estúpido y se reveló que el historial de caché respondió: se contó un chiste 800 veces y no escuché el nuevo

Fuente original: qubits

Fuente de la imagen: Generado por Unbounded AI

Algunos internautas encontraron otra prueba de que GPT-4 se ha vuelto “estúpido”.

Cuestionó:

OpenAI almacenará en caché las respuestas históricas, lo que permitirá a GPT-4 volver a contar directamente las respuestas generadas anteriormente.

El ejemplo más obvio de esto es contar chistes.

La evidencia muestra que incluso cuando subió el valor de temperatura del modelo, GPT-4 repitió la misma respuesta de “científicos y átomos”.

Es el “¿Por qué los científicos no confían en los átomos?” Porque todo está hecho “por ellos”.

Aquí, es lógico que cuanto mayor sea el valor de temperatura, más fácil será para el modelo generar algunas palabras inesperadas, y no se debe repetir la misma broma.

No solo eso, sino que incluso si no movemos los parámetros, cambiamos la redacción y enfatizamos que cuente un chiste nuevo y diferente, no ayudará.

Según el buscador:

Esto demuestra que GPT-4 no sólo utiliza el almacenamiento en caché, sino también consultas agrupadas en lugar de coincidir exactamente con una pregunta.

Los beneficios de esto son evidentes y la velocidad de respuesta puede ser más rápida.

Sin embargo, dado que compré una membresía a un precio alto, solo disfruto de un servicio de recuperación de caché de este tipo y nadie está contento.

Algunas personas sienten después de leerlo:

Si ese es el caso, ¿no es injusto que sigamos usando GPT-4 para evaluar las respuestas de otros grandes modelos?

Por supuesto, también hay personas que no piensan que esto sea el resultado de un caché externo, y quizás la repetitividad de las respuestas en el propio modelo sea tan alta**:

Estudios anteriores han demostrado que ChatGPT repite los mismos 25 chistes el 90% de las veces.

¿Cómo se dice eso?

Evidencia Real Hammer GPT-4 con Cache Reply

No solo ignoró el valor de la temperatura, sino que este internauta también encontró:

Es inútil cambiar el valor superior_p del modelo, GPT-4 hace precisamente eso.

(top_p: Se utiliza para controlar la autenticidad de los resultados devueltos por el modelo, y el valor se reduce si desea respuestas más precisas y basadas en hechos, y se suben las respuestas que son más diversas)

La única forma de descifrarlo es abrir el parámetro de aleatoriedad n para que podamos obtener la respuesta “no almacenada en caché” y obtener un nuevo chiste.

Sin embargo, tiene el “costo” de respuestas más lentas, ya que hay un retraso en la generación de contenido nuevo.

Vale la pena mencionar que otros parecen haber encontrado un fenómeno similar en el modelo local.

Se ha sugerido que el “prefijo-match hit” en la captura de pantalla parece demostrar que la caché se usa de hecho.

Entonces, la pregunta es, ¿cómo exactamente el modelo grande almacena en caché nuestra información de chat?

Buena pregunta, desde el segundo ejemplo mostrado al principio, está claro que hay algún tipo de operación de “clustering”, pero no sabemos cómo aplicarla a conversaciones profundas de varias rondas.

Independientemente de esta pregunta, algunas personas vieron esto y recordaron la declaración de ChatGPT de que “sus datos se almacenan con nosotros, pero una vez que finalice el chat, se eliminará el contenido de la conversación”, y de repente se dieron cuenta.

Esto no puede evitar que algunas personas comiencen a preocuparse por la seguridad de los datos:

¿Significa esto que los chats que iniciamos se siguen guardando en su base de datos?

Por supuesto, algunas personas pueden estar pensando demasiado en esta preocupación:

Tal vez sea solo que nuestras cachés de incrustación de consultas y respuestas están almacenadas.

Así que, como dijo el propio descubridor:

no estoy demasiado preocupado por el almacenamiento en caché en sí.
Me preocupa que OpenAI sea tan simple y grosero para resumir nuestras preguntas a responder, independientemente de configuraciones como la temperatura, y agregue directamente indicaciones con significados obviamente diferentes, lo que tendrá un mal impacto y puede “desechar” muchas aplicaciones (basadas en GPT-4).

Por supuesto, no todo el mundo está de acuerdo en que los hallazgos anteriores demuestren que OpenAI realmente está utilizando respuestas en caché.

Su razonamiento es que el caso adoptado por el autor resulta ser una broma.

Después de todo, en junio de este año, dos académicos alemanes probaron y descubrieron que el 90% de los 1.008 resultados de ChatGPT contando un chiste aleatorio eran variaciones de los mismos 25 chistes.

“Los científicos y los átomos” aparece con mayor frecuencia en particular, con 119 veces.

Para que pueda entender por qué parece que la respuesta anterior está almacenada en caché.

Por lo tanto, algunos internautas también propusieron usar otro tipo de preguntas para probar y luego ver.

Sin embargo, los autores insisten en que no tiene por qué ser un problema, y que es fácil saber si está almacenado en caché con solo medir la latencia.

Finalmente, veamos esta pregunta desde una “perspectiva diferente”:

¿Qué tiene de malo que GPT-4 cuente un chiste todo el tiempo?

¿No hemos enfatizado siempre la necesidad de que los modelos grandes generen respuestas consistentes y confiables? No, qué obediente es (cabeza de perro manual).

Entonces, ¿GPT-4 tiene cachés o no, y has observado algo similar?

Enlaces de referencia: