“OpenAI” تسعى لاستخدام الذكاء الاصطناعي في تدريب نفسه

Will Knight

يعتبر جيش المدربين البشريين أحد العناصر الرئيسية التي ساعدت ChatGPT على تحقيق نجاح كبير. هؤلاء المدربون قدموا توجيهات للنموذج الذكاء الاصطناعي حول ما يشكل مخرجات جيدة وسيئة.

الآن، تقول OpenAI أن إضافة المزيد من الذكاء الاصطناعي إلى هذا المزيج يمكن أن يساعد في جعل مساعدي الذكاء الاصطناعي أكثر ذكاءً وموثوقية. حيث يمكن للذكاء الاصطناعي المساعد دعم المدربين البشريين وتعزيز قدراتهم.

هذا النهج المتكامل بين الجهود البشرية والتقنية يهدف إلى تطوير مساعدي الذكاء الاصطناعي ليكونوا أكثر فعالية وموثوقية في تقديم المخرجات المرغوبة.

في تطوير ChatGPT، كانت OpenAI رائدة في استخدام التعلم المعزز مع التغذية الراجعة البشرية، أو ما يُعرف بـRLHF. تستخدم هذه التقنية مدخلات من المختبرين البشريين لضبط نموذج الذكاء الاصطناعي بحيث يتم تقييم مخرجاته لتكون أكثر تماسكًا، وأقل اعتراضًا، وأكثر دقة. تغذي التقييمات التي يقدمها المدربون خوارزمية توجه سلوك النموذج. لقد أثبتت هذه التقنية أنها حاسمة في جعل روبوتات الدردشة أكثر موثوقية وفائدة ومنعها من التصرف بشكل غير لائق.

“يعمل التعلم المعزز مع التغذية الراجعة البشرية بشكل جيد للغاية، لكنه يحتوي على بعض القيود الرئيسية”، يقول نات مكاليس، باحث في OpenAI ومشارك في العمل الجديد. على سبيل المثال، يمكن أن تكون التغذية الراجعة البشرية غير متسقة. ومن ناحية أخرى، يمكن أن يكون من الصعب حتى على البشر المهرة تقييم المخرجات المعقدة للغاية، مثل الأكواد البرمجية المتقدمة. ويمكن أن تعمل هذه العملية أيضًا على تحسين النموذج لإنتاج مخرجات تبدو مقنعة بدلاً من أن تكون دقيقة بالفعل.

طورت OpenAI نموذجًا جديدًا من خلال تحسين أقوى إصداراتها، GPT-4، لمساعدة المدربين البشريين المكلفين بتقييم الأكواد البرمجية. ووجدت الشركة أن النموذج الجديد، الذي أُطلق عليه اسم CriticGPT، يمكنه اكتشاف الأخطاء التي فاتت البشر، وأن الحكام البشريين وجدوا أن نقده للأكواد كان أفضل بنسبة 63 بالمئة من الوقت. ستنظر OpenAI في تمديد هذا النهج إلى مجالات تتجاوز الأكواد في المستقبل.

“نحن نبدأ العمل لدمج هذه التقنية في مجموعة المحادثات الخاصة بـRLHF لدينا”، يقول مكاليس. ويشير إلى أن النهج غير مثالي، حيث يمكن لـCriticGPT أيضًا أن يرتكب أخطاء من خلال التوهم، لكنه يضيف أن التقنية يمكن أن تساعد في جعل نماذج OpenAI وكذلك أدوات مثل ChatGPT أكثر دقة عن طريق تقليل الأخطاء في التدريب البشري. ويضيف أن هذا قد يكون أيضًا حاسمًا في مساعدة نماذج الذكاء الاصطناعي على أن تصبح أكثر ذكاءً، لأنه قد يسمح للبشر بمساعدة تدريب ذكاء اصطناعي يتجاوز قدراتهم الخاصة. “ومع استمرار تحسن النماذج، نتوقع أن الناس سيحتاجون إلى مزيد من المساعدة”، يقول مكاليس.

التقنية الجديدة هي واحدة من العديد من التقنيات التي يجري تطويرها حاليًا لتحسين النماذج اللغوية الكبيرة واستخلاص المزيد من القدرات منها. كما أنها جزء من جهد لضمان أن يتصرف الذكاء الاصطناعي بطرق مقبولة حتى مع زيادة قدراته.

في وقت سابق من هذا الشهر، أعلنت شركة Anthropic، المنافسة لـOpenAI والتي أسسها موظفون سابقون في OpenAI، عن نسخة أكثر قدرة من روبوت الدردشة الخاص بها، المسمى Claude، بفضل التحسينات في نظام تدريب النموذج والبيانات التي يتم تغذيته بها. روجت كل من Anthropic و OpenAI، مؤخرًا، لطرق جديدة لفحص نماذج الذكاء الاصطناعي لفهم كيفية وصولها إلى مخرجاتها من أجل منع السلوك غير المرغوب فيه مثل الخداع بشكل أفضل.

التقنية الجديدة قد تساعد OpenAI في تدريب نماذج ذكاء اصطناعي أكثر قوة، بينما تضمن أن تكون مخرجاتها أكثر مصداقية ومتوافقة مع القيم البشرية، خاصة إذا نجحت الشركة في نشرها في مجالات أكثر من مجرد الأكواد. وقالت OpenAI إنها تدرب نموذج الذكاء الاصطناعي الرئيسي التالي، ويبدو أن الشركة حريصة على إثبات جديتها في ضمان سلوكه. ويأتي ذلك بعد حل فريق بارز مخصص لتقييم المخاطر طويلة الأمد التي يشكلها الذكاء الاصطناعي. كان الفريق يقوده إيليا سوتسكيفر، المؤسس المشارك للشركة وعضو مجلس الإدارة السابق الذي دفع لفترة قصيرة الرئيس التنفيذي سام ألتمان للخروج من الشركة قبل أن يتراجع ويساعده على استعادة السيطرة. منذ ذلك الحين، انتقد العديد من أعضاء ذلك الفريق الشركة للتحرك بشكل محفوف بالمخاطر في سعيها لتطوير وترويج خوارزميات ذكاء اصطناعي قوية.

يقول ديلان هادفيلد-مينيل، أستاذ في معهد ماساتشوستس للتكنولوجيا، الذي يبحث في طرق توافق الذكاء الاصطناعي، إن فكرة استخدام نماذج الذكاء الاصطناعي لمساعدة تدريب نماذج أكثر قوة كانت متداولة منذ فترة. و”هذا تطور طبيعي جدًا”.

يشير هادفيلد-مينيل إلى أن الباحثين الذين طوروا في الأصل التقنيات المستخدمة في التعلم المعزز مع التغذية الراجعة البشرية ناقشوا أفكارًا ذات صلة قبل عدة سنوات. ويقول إنه من المبكر تحديد مدى قابلية التطبيق والقوة العامة لهذه التقنية. ويضيف: “قد يؤدي ذلك إلى قفزات كبيرة في القدرات الفردية، وقد يكون خطوة نحو نوع من التغذية الراجعة الأكثر فعالية على المدى الطويل”.

المصدر: WIRED