أندريه كارباتي يطلق مشروع autoresearch مفتوح المصدر، لتشغيل مئة تجربة تدريب لنماذج اللغة الكبيرة تلقائيًا بواسطة الذكاء الاصطناعي

أخبار Gate، في 9 مارس، أعلن مؤسس Eureka Labs، والمؤسس المشارك لـ OpenAI، أندريه كارباتي، عن إطلاق مشروع مفتوح المصدر باسم autoresearch يوم أمس (8 مارس)، حيث قام بتعبئة سير عمل تحسين الوكيل الذكي الذي كان يستخدم سابقًا في مشروع تدريب LLM nanochat بشكل مستقل، ليكون متاحًا للمطورين. يعتمد المشروع على نمط تصميم “الإنسان يكتب Markdown، والذكاء الاصطناعي يكتب الكود”: حيث يحدد المطورون اتجاه البحث من خلال كتابة ملف program.md، ويقوم وكيل الذكاء الاصطناعي تلقائيًا بتعديل كود train.py الذي يتضمن نموذج GPT كامل، ومحسن Muon + AdamW، وحلقة التدريب (حوالي 630 سطرًا). يتم تشغيل كل تجربة لمدة 5 دقائق ثابتة، ويُستخدم عدد البتات لكل بايت (val_bpb) كمؤشر تقييم وحيد، ويتم الاحتفاظ بالتعديلات التي تتفوق على الخط الأساسي، وإهمال غيرها. وفقًا لهذا الأسلوب، يمكن إجراء حوالي 12 تجربة في الساعة، وإتمام حوالي 100 تجربة خلال ليلة واحدة. أظهر عرض كارباتي أن من بين 83 تجربة، تم تحقيق 15 تحسينًا فعالًا. يتطلب المشروع بطاقة GPU واحدة من NVIDIA (تم الاختبار على H100)، ويعتمد على PyTorch وقليل من الحزم البرمجية، ويُصدر بموجب رخصة MIT. حاليًا، ظهرت فروع مخصصة لنظام macOS وMLX في المجتمع.

شاهد النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات