أصبح GPT-4 أكثر غباء ، وتم الكشف عن أن سجل ذاكرة التخزين المؤقت أجاب: تم إخبار نكتة 800 مرة ، ولم أستمع إلى نكتة جديدة

المصدر الأصلي: الكيوبت

مصدر الصورة: تم إنشاؤه بواسطة الذكاء الاصطناعي غير محدود

وجد بعض مستخدمي الإنترنت دليلا آخر على أن GPT-4 أصبح “غبيا”.

وتساءل:

سيقوم OpenAI ** بتخزين الاستجابات التاريخية مؤقتا ** ، مما يسمح ل GPT-4 بإعادة سرد الإجابات التي تم إنشاؤها مسبقا مباشرة.

المثال الأكثر وضوحا على ذلك هو قول النكات.

تشير الأدلة إلى أنه حتى عندما رفع قيمة درجة حرارة النموذج ، كرر GPT-4 نفس استجابة “العلماء والذرات”.

إنه “لماذا لا يثق العلماء في الذرات؟” لأن كل شيء يتكون “من قبلهم”.

هنا ، من المنطقي أنه كلما ارتفعت قيمة درجة الحرارة ، كان من الأسهل على النموذج توليد بعض الكلمات غير المتوقعة ، ولا ينبغي تكرار نفس النكتة.

ليس ذلك فحسب ، ولكن حتى لو لم ننقل المعلمات ، ** نغير الصياغة ** ، ونؤكد على جعلها تحكي نكتة ** جديدة ومختلفة ** ، فلن يساعد.

وفقا للمكتشف:

يوضح هذا أن GPT-4 لا يستخدم التخزين المؤقت فحسب ، بل يستخدم أيضا ** الاستعلامات المجمعة ** بدلا من مطابقة السؤال تماما.

فوائد هذا بديهية ، ويمكن أن تكون سرعة الاستجابة أسرع.

ومع ذلك ، نظرا لأنني اشتريت عضوية بسعر مرتفع ، فأنا أستمتع فقط بخدمة استرجاع ذاكرة التخزين المؤقت هذه ، ولا أحد سعيد.

يشعر بعض الناس بعد قراءته:

إذا كان الأمر كذلك ، أليس من الظلم أن نستمر في استخدام GPT-4 لتقييم إجابات النماذج الكبيرة الأخرى؟

بالطبع ، هناك أيضا أشخاص لا يعتقدون أن هذا ناتج عن ذاكرة تخزين مؤقت خارجية ، وربما يكون تكرار الإجابات في النموذج نفسه مرتفعا جدا **:

أظهرت الدراسات السابقة أن ChatGPT يكرر نفس النكات ال 25 بنسبة 90٪ من الوقت.

كيف تقول ذلك؟

** دليل المطرقة الحقيقية GPT-4 مع رد ذاكرة التخزين المؤقت **

لم يتجاهل قيمة درجة الحرارة فحسب ، بل وجد مستخدم الإنترنت هذا أيضا:

من غير المجدي تغيير القيمة العليا \ _p للنموذج ، GPT-4 يفعل ذلك بالضبط.

(أعلى \ _p: يتم استخدامه للتحكم في صحة النتائج التي يرجعها النموذج ، ويتم تخفيض القيمة إذا كنت تريد إجابات أكثر دقة وقائمة على الحقائق ، ويتم عرض الإجابات الأكثر تنوعا)

الطريقة الوحيدة للقضاء عليها هي سحب معلمة العشوائية n حتى نتمكن من الحصول على الإجابة “غير المخبأة” والحصول على نكتة جديدة.

ومع ذلك ، فإنه يأتي على “تكلفة” استجابات أبطأ ، حيث يوجد تأخير في إنشاء محتوى جديد.

ومن الجدير بالذكر أن آخرين يبدو أنهم وجدوا ظاهرة مماثلة على النموذج المحلي.

لقد تم اقتراح أن “ضربة مطابقة البادئة” في لقطة الشاشة يبدو أنها تثبت أن ذاكرة التخزين المؤقت مستخدمة بالفعل.

لذا فإن السؤال هو ، كيف يقوم النموذج الكبير بالضبط بتخزين معلومات الدردشة الخاصة بنا؟

سؤال جيد ، من المثال الثاني الموضح في البداية ، من الواضح أن هناك نوعا من عملية “التجميع” ، لكننا لا نعرف كيفية تطبيقها على المحادثات العميقة متعددة الجولات.

بغض النظر عن هذا السؤال ، رأى بعض الأشخاص هذا وتذكروا بيان ChatGPT بأن “بياناتك مخزنة معنا ، ولكن بمجرد انتهاء الدردشة ، سيتم حذف محتوى المحادثة” ، وأدركت فجأة.

هذا لا يمكن أن يساعد ولكن يجعل بعض الناس يبدأون في القلق بشأن أمان البيانات:

هل هذا يعني أن الدردشات التي نبدأها لا تزال محفوظة في قاعدة البيانات الخاصة بهم؟

بالطبع ، قد يبالغ بعض الناس في التفكير في هذا القلق:

ربما يتم تخزين ذاكرات التخزين المؤقت لتضمين الاستعلام والإجابة.

لذلك ، كما قال المكتشف نفسه:

لست قلقا جدا بشأن التخزين المؤقت نفسه.
أنا قلق من أن OpenAI بسيط للغاية ووقح لتلخيص أسئلتنا للإجابة عليها ، بغض النظر عن الإعدادات مثل درجة الحرارة ، وتجميع المطالبات مباشرة بمعاني مختلفة بشكل واضح ، والتي سيكون لها تأثير سيء وقد “تلغى” العديد من التطبيقات (المستندة إلى GPT-4).

بالطبع ، لا يتفق الجميع على أن النتائج المذكورة أعلاه تثبت أن OpenAI يستخدم بالفعل الردود المخبأة.

منطقهم هو أن القضية التي اعتمدها المؤلف تصادف أنها مزحة.

بعد كل شيء ، في يونيو من هذا العام ، اختبر باحثان ألمانيان ووجدوا أن 90٪ من نتائج 1,008 ل ChatGPT تقول نكتة عشوائية كانت اختلافات في نفس النكات ال 25.

يظهر “العلماء والذرات” بشكل متكرر على وجه الخصوص ، مع 119 مرة.

حتى تتمكن من فهم سبب ظهورها كما لو أن الإجابة السابقة مخزنة مؤقتا.

لذلك، اقترح بعض مستخدمي الإنترنت أيضا استخدام أنواع أخرى من الأسئلة للاختبار ثم الرؤية.

ومع ذلك ، يصر المؤلفون على أنه لا يجب أن يكون مشكلة ، وأنه من السهل معرفة ما إذا كان قد تم تخزينه مؤقتا بمجرد قياس زمن الوصول.

أخيرا ، دعونا نلقي نظرة على هذا السؤال من “منظور مختلف”:

ما الخطأ في قول GPT-4 نكتة طوال الوقت؟

ألم نؤكد دائما على الحاجة إلى نماذج كبيرة لإنتاج إجابات متسقة وموثوقة؟ لا ، كم هو مطيع (رأس الكلب اليدوي).

لذا ، هل يحتوي GPT-4 على ذاكرة تخزين مؤقت أم لا ، وهل لاحظت أي شيء مشابه؟

الروابط المرجعية: