منطق GPT-4 أقرب إلى الإنسان! اقترحت الأكاديمية الصينية للعلوم "التواصل بالتفكير"، حيث يتفوق التفكير التناظري تمامًا على CoT والتوصيل والتشغيل

المصدر الأصلي: Xinzhiyuan

مصدر الصورة: تم إنشاؤها بواسطة Unbounded AI

في الوقت الحاضر، ظهرت نماذج الشبكات العصبية العملاقة مثل GPT-4 وPaLM وأظهرت قدرات تعليمية مذهلة في عينات قليلة.

من خلال توجيهات بسيطة، يمكنهم التفكير في النص، وكتابة القصص، والإجابة على الأسئلة، والبرامج…

ومع ذلك، غالبًا ما يخسر LLM أمام البشر في مهام التفكير المعقدة والمتعددة الخطوات، ويكافح دون جدوى.

وفي هذا الصدد، اقترح باحثون من الأكاديمية الصينية للعلوم وجامعة ييل إطارًا جديدًا لـ “نشر الفكر” الذي يمكن أن يعزز منطق ماجستير العلوم من خلال “التفكير التناظري”.

عنوان الورقة:

“نشر الفكر” مستوحى من الإدراك البشري، وهو أنه عندما نواجه مشكلة جديدة، فإننا غالبًا ما نقارنها بمشكلات مماثلة قمنا بحلها بالفعل لاستخلاص الاستراتيجيات.

ولذلك، فإن جوهر هذه الطريقة هو السماح لـ LLM باستكشاف المشكلات “المشابهة” المتعلقة بالإدخال قبل حل مشكلة الإدخال.

وأخيرًا، يمكن استخدام حلولهم خارج الصندوق أو استخراج رؤى للتخطيط المفيد.

من المتوقع أن يقترح “التواصل الفكري” أفكارًا جديدة للقيود المتأصلة في القدرات المنطقية لـ LLM، مما يسمح للنماذج الكبيرة باستخدام “القياس” لحل المشكلات مثل البشر.

استدلال متعدد الخطوات في ماجستير إدارة الأعمال، هزمه البشر

من الواضح أن LLM جيد في التفكير الأساسي بناءً على المطالبات، لكنه لا يزال يواجه صعوبات عند التعامل مع المشكلات المعقدة متعددة الخطوات، مثل التحسين والتخطيط.

ومن ناحية أخرى، يعتمد البشر على الحدس من تجارب مماثلة لحل المشكلات الجديدة.

لا تستطيع النماذج الكبيرة القيام بذلك بسبب القيود المتأصلة فيها.

نظرًا لأن معرفة LLM تأتي بالكامل من الأنماط الموجودة في بيانات التدريب، فلا يمكنها فهم اللغة أو المفاهيم حقًا. ولذلك، باعتبارها نماذج إحصائية، فمن الصعب إجراء تعميمات اندماجية معقدة.

الشيء الأكثر أهمية هو أن LLM يفتقر إلى قدرات التفكير المنهجي ولا يمكنه التفكير خطوة بخطوة مثل البشر لحل المشكلات الصعبة.

بالإضافة إلى ذلك، فإن استدلال النماذج الكبيرة محلي و"قصير النظر"، لذلك يصعب على LLM إيجاد الحل الأفضل والحفاظ على اتساق الاستدلال على مدى فترة طويلة من الزمن.

باختصار، تنبع عيوب النماذج الكبيرة في الإثبات الرياضي والتخطيط الاستراتيجي والتفكير المنطقي بشكل أساسي من قضيتين أساسيتين:

**- عدم القدرة على إعادة استخدام الأفكار من التجارب السابقة. **

يتراكم البشر المعرفة والحدس القابلة لإعادة الاستخدام من الممارسة التي تساعد في حل المشكلات الجديدة. في المقابل، LLM يتعامل مع كل مشكلة “من الصفر” ولا يستعير من الحلول السابقة.

**- الأخطاء المركبة في الاستدلال متعدد الخطوات. **

يراقب البشر سلاسل التفكير الخاصة بهم ويقومون بتعديل الخطوات الأولية عند الضرورة. لكن الأخطاء التي ارتكبتها LLM في المراحل الأولى من الاستدلال يتم تضخيمها لأنها تقود الاستدلال اللاحق إلى المسار الخاطئ.

نقاط الضعف المذكورة أعلاه تعيق بشكل خطير تطبيق LLM في التعامل مع التحديات المعقدة التي تتطلب التحسين العالمي أو التخطيط على المدى الطويل.

وفي هذا الصدد، اقترح الباحثون طريقة جديدة تمامًا للتفكير في الحلول.

إطار عمل TP

من خلال التفكير التناظري، يمكن لـ LLM أن تفكر مثل البشر.

وفقًا للباحثين، لا يمكن للاستدلال من الصفر إعادة استخدام الأفكار المستمدة من حل مشكلات مماثلة، وسوف تتراكم الأخطاء في مراحل الاستدلال الوسيطة.

يمكن لـ “نشر الفكر” استكشاف مشكلات مماثلة تتعلق بمشكلة الإدخال والحصول على الإلهام من حلول المشكلات المماثلة.

يوضح الشكل أدناه المقارنة بين “نشر الفكر” (TP) والتقنيات التمثيلية الأخرى. بالنسبة لمشكلة الإدخال p وIO وCoT وToT، سوف يفكرون من الصفر للوصول إلى الحل.

على وجه التحديد، يتضمن TP ثلاث مراحل:

** 1. اطرح أسئلة مماثلة: ** يُنشئ LLM مجموعة من الأسئلة المتشابهة التي لها أوجه تشابه مع سؤال الإدخال من خلال المطالبات. سيؤدي هذا إلى توجيه النموذج لاسترداد التجارب السابقة ذات الصلة المحتملة.

** 2. حل المشكلات المماثلة: ** اسمح لـ LLM بحل كل مشكلة مماثلة من خلال تقنية المطالبة الحالية، مثل CoT.

**3. تلخيص الحلول: **هناك طريقتان مختلفتان - الاستنتاج المباشر لحلول جديدة لمشكلة الإدخال بناءً على حلول مماثلة، واستخلاص خطط أو استراتيجيات عالية المستوى من خلال مقارنة الحلول المماثلة لمشكلة الإدخال.

وهذا يسمح للنماذج الكبيرة بإعادة استخدام الخبرات السابقة والاستدلالات، وكذلك التحقق من تفكيرها الأولي باستخدام الحلول التناظرية لتحسين تلك الحلول.

ومن الجدير بالذكر أن “نشر الفكر” ليس له علاقة بالنموذج ويمكنه تنفيذ خطوة واحدة لحل المشكلة بناءً على أي طريقة سريعة.

والحداثة الرئيسية في هذه الطريقة هي تحفيز التفكير التناظري LLM لتوجيه عمليات التفكير المعقدة.

ما إذا كان “التواصل الفكري” يمكن أن يجعل LLM أشبه بالإنسان يعتمد على النتائج الفعلية.

أجرى باحثون من الأكاديمية الصينية للعلوم وجامعة ييل التقييم في 3 مهام:

**- منطق المسار الأقصر: ** تتطلب الحاجة إلى العثور على أفضل مسار بين العقد في الرسم البياني تخطيطًا وبحثًا عالميين. حتى في الرسوم البيانية البسيطة، تفشل التقنيات القياسية.

**- الكتابة الإبداعية: ** يعد إنشاء قصص إبداعية متماسكة تحديًا مفتوحًا. عند إعطاء مطالبات تفصيلية عالية المستوى، غالبًا ما تفقد LLM الاتساق أو المنطق.

**- تخطيط وكيل LLM **: واجه وكلاء LLM الذين يتفاعلون مع البيئات النصية صعوبات في الاستراتيجيات طويلة المدى. غالبًا ما “تنجرف” خططهم أو تتعثر في دورات.

استدلال المسار الأقصر

في مهمة التفكير ذات المسار الأقصر، لا يمكن حل المشكلات التي تواجهها الطرق الحالية.

على الرغم من أن الرسم البياني في (أ) بسيط للغاية، نظرًا لأن الاستدلال يبدأ من 0، فإن هذه الطرق تسمح فقط لـ LLM بالعثور على حلول دون المستوى الأمثل (ب، ج) أو حتى زيارة العقدة الوسيطة (د) بشكل متكرر.

فيما يلي مثال على الجمع بين TP وToT.

لا يستطيع ToT (b) حل المشكلة في (a) بسبب تراكم الأخطاء في خطوات التفكير الوسيطة. واستنادًا إلى حلول لمشاكل مماثلة، يقوم TP © بتحسين الحل الأولي دون الأمثل ويجد في النهاية الحل الأمثل.

من خلال المقارنة مع خط الأساس، تم تحسين أداء TP في معالجة مهمة المسار الأقصر بشكل ملحوظ بنسبة 12%، مما يؤدي إلى إنشاء أقصر المسارات الأمثل والفعال.

بالإضافة إلى ذلك، نظرًا لأدنى OLR، فإن المسار الفعال الذي تم إنشاؤه بواسطة TP هو الأقرب إلى المسار الأمثل مقارنةً بخط الأساس.

وفي الوقت نفسه، قام الباحثون بدراسة تأثير عدد طبقات TP على تعقيد وأداء مهمة المسار الأقصر.

في ظل إعدادات مختلفة، تكون تكلفة الرمز المميز للطبقة 1 TP مشابهة لتكلفة ToT. ومع ذلك، حققت الطبقة الأولى TP أداءً تنافسيًا للغاية في العثور على المسار الأقصر الأمثل.

بالإضافة إلى ذلك، فإن زيادة أداء الطبقة 1 TP تعتبر أيضًا مهمة جدًا مقارنة بالطبقة 0 TP (IO). يوضح الشكل 5 (أ) الزيادة في تكلفة الرمز المميز للطبقة 2 TP.

كتابة إبداعية

يوضح الجدول 2 أدناه أداء TP وخط الأساس في GPT-3.5 وGPT-4. من حيث الاتساق، TP يتجاوز خط الأساس. بالإضافة إلى ذلك، في دراسات المستخدم، زاد TP من تفضيل الإنسان في الكتابة الإبداعية بنسبة 13%.

تخطيط وكيل LLM

في تقييم المهمة الثالثة، استخدم الباحثون مجموعة ألعاب ALFWorld لمحاكاة مهمة تخطيط وكيل LLM في 134 بيئة.

يزيد TP من معدل إنجاز المهمة بنسبة 15% في تخطيط وكيل LLM. وهذا يدل على تفوق TP العاكس للتخطيط الناجح عند إكمال مهام مماثلة.

تظهر النتائج التجريبية المذكورة أعلاه أن “نشر الفكر” يمكن تعميمه على مجموعة متنوعة من مهام الاستدلال المختلفة ويحقق أداءً جيدًا في جميع هذه المهام.

** مفاتيح الاستدلال المحسن LLM **

يوفر نموذج “انتشار الفكر” تقنية جديدة للتفكير المعقد في LLM.

يعد التفكير التناظري سمة مميزة لقدرات الإنسان على حل المشكلات ويمكن أن يؤدي إلى مجموعة من المزايا النظامية، مثل البحث الأكثر كفاءة وتصحيح الأخطاء.

وبالمثل، يمكن لـ LLM أيضًا التغلب بشكل أفضل على نقاط الضعف الخاصة بها، مثل الافتقار إلى المعرفة القابلة لإعادة الاستخدام والأخطاء المحلية المتتالية، من خلال تحفيز التفكير التناظري.

ومع ذلك، هناك بعض القيود على هذه النتائج.

إن توليد أسئلة تشبيهية مفيدة بكفاءة ليس بالأمر السهل، وقد تصبح السلاسل الأطول من مسارات التفكير التناظري غير عملية. وفي الوقت نفسه، يظل التحكم في سلاسل الاستدلال متعددة الخطوات وتنسيقها أمرًا صعبًا.

ومع ذلك، فإن “نشر الفكر” لا يزال يوفر لنا طريقة مثيرة للاهتمام من خلال حل عيوب الاستدلال في LLM بطريقة إبداعية.

مع مزيد من التطوير، قد يجعل التفكير التناظري تفكير LLM أكثر قوة. وهذا يشير أيضًا إلى الطريق لتحقيق المزيد من الاستدلال الشبيه بالإنسان في نماذج اللغات الكبيرة.

عن المؤلف

ران هو

وهو أستاذ في المختبر الوطني التجريبي للتعرف على الأنماط التابع لمعهد الأتمتة والأكاديمية الصينية للعلوم وجامعة الأكاديمية الصينية للعلوم، وزميل IAPR وعضو بارز في IEEE.

في السابق، حصل على درجتي البكالوريوس والماجستير من جامعة داليان للتكنولوجيا، والدكتوراه من معهد الأتمتة بالأكاديمية الصينية للعلوم في عام 2009.

اهتماماته البحثية هي الخوارزميات البيومترية (التعرف على الوجوه والتوليف، والتعرف على قزحية العين، وإعادة تحديد هوية الشخص)، والتعلم التمثيلي (شبكات التدريب المسبق باستخدام التعلم الضعيف/الإشراف الذاتي أو التعلم النقلي)، والتعلم التوليدي (النماذج التوليدية، وتوليد الصور، وترجمة الصور ).

وقد نشر أكثر من 200 بحث في مجلات ومؤتمرات دولية، بما في ذلك المجلات العالمية الشهيرة مثل IEEE TPAMI، وIEEE TIP، وIEEE TIFS، وIEEE TNN، وIEEE TCSVT، بالإضافة إلى أهم المؤتمرات الدولية مثل CVPR، وICCV، وECCV، و نوريبس.

وهو عضو في هيئات تحرير IEEE TIP وIEEE TBIOM وPattern Recognition، وعمل كرئيس إقليمي لمؤتمرات دولية مثل CVPR وECCV وNeurIPS وICML وICPR وIJCAI.

جونشي يو(俞UN驰)

يو جونتشي هو طالب دكتوراه في السنة الرابعة في معهد الأتمتة بالأكاديمية الصينية للعلوم، ومشرفه هو البروفيسور هيران.

في السابق، تدرب في مختبر Tencent للذكاء الاصطناعي وعمل مع الدكتور تينغيانغ شو، والدكتور يو رونغ، والدكتور ياتاو بيان، والبروفيسور جونتشو هوانغ. حاليًا، هو طالب تبادل في قسم علوم الكمبيوتر بجامعة ييل، ويدرس تحت إشراف البروفيسور ريكس ينج.

هدفه هو تطوير أساليب تعلم الرسم البياني الجديرة بالثقة (TwGL) مع إمكانية التفسير والنقل الجيدة واستكشاف تطبيقاتها في الكيمياء الحيوية.

مراجع: