تعليم الذكاء الاصطناعي السلوك الصحيح: السر وراء التعلم المعزز من ردود الفعل البشرية (RLHF)

نموذج اللغة الكبير الخام، مباشرة بعد تدريبه الأولي، يشبه عبقريًا لامعًا ولكنه غير منقح. لقد قرأ جزءًا كبيرًا من الإنترنت ويمكنه إنشاء نص بطلاقة وصحيح نحويًا حول أي موضوع تقريبًا. ومع ذلك، فإنه لا يفهم القيم الإنسانية بطبيعته. لا يعرف كيف يكون مفيدًا أو مهذبًا أو آمنًا.

إذًا كيف نحول هذه الذكاء الخام إلى المساعدين المفيدين والمحادثين الذين نستخدمهم اليوم؟ يكمن الجواب في عملية تدريب قوية تسمى التعلم المعزز من ردود الفعل البشرية (Reinforcement Learning from Human Feedback - RLHF).

RLHF هي "مدرسة التهذيب" للذكاء الاصطناعي. إنها طريقة لضبط نموذج ليس على المزيد من البيانات، ولكن على تفضيلات الإنسان، وتعليمه الفن الدقيق للمحاذاة مع أهدافنا وقيمنا.

المشكلة: ذكاء اصطناعي يعرف كل شيء ولكنه لا يفهم شيئًا

يتم تدريب نموذج اللغة الكبير الأساسي على فعل شيء واحد: التنبؤ بالكلمة التالية في تسلسل. إذا تم تدريبه على الإنترنت بالكامل، فقد يتعلم أن السؤال يتبعه غالبًا إجابة. ولكنه قد يكون قد تعلم أيضًا أن السؤال يتبعه تعليق ساخر، أو تعليمات خطيرة، أو هراء تام. ليس لديه "بوصلة أخلاقية" مدمجة أو مفهوم للمساعدة.

بدون ضبط دقيق، قد يؤدي طلب المساعدة من الذكاء الاصطناعي إلى إجابة تكون:

• غير مفيدة: صحيحة تقنيًا ولكنها ليست ما يحتاجه المستخدم بالفعل.
• غير آمنة: تقديم تعليمات لأنشطة ضارة.
• متحيزة أو سامة: تعكس أسوأ أجزاء بيانات تدريبها على الإنترنت.
• غير مدركة اجتماعيًا: تفتقر إلى النبرة والفروق الدقيقة لمحادثة جيدة.

الحل: نظام تدريب من ثلاث خطوات

يصحح RLHF هذه المشكلات عن طريق تعليم الذكاء الاصطناعي صراحة ما يعتبره البشر استجابة "جيدة". تتضمن العملية ثلاث مراحل رئيسية:

1. الضبط الدقيق الخاضع للإشراف (الدروس الأولية)

أولاً، يتم توظيف فريق من المصنفين البشريين لإنشاء مجموعة بيانات عالية الجودة ومنسقة. يكتبون محادثات حيث يتصرفون كمستخدم ومساعد ذكاء اصطناعي مثالي، ويوضحون بالضبط كيف يجب أن يستجيب الذكاء الاصطناعي لمطالبات مختلفة. يتم تدريب نموذج اللغة الكبير الأساسي على هذه الأمثلة "المثالية" لمنحه فهمًا أوليًا للحوار المفيد.

2. تدريب "نموذج المكافأة" (تعلم الحكم)

هذا هو قلب RLHF. لا يمكنك أن تجعل البشر يوجهون الذكاء الاصطناعي إلى الأبد—إنه بطيء جدًا. بدلاً من ذلك، تعلم ذكاءً اصطناعيًا ثانيًا منفصلاً ليعمل كقاضٍ.

للقيام بذلك، يتم إعطاء نموذج اللغة الكبير مطالبة واحدة وينشئ عدة إجابات محتملة مختلفة (على سبيل المثال، أ، ب، ج، د). ثم يقوم المصنفون البشريون بترتيب هذه الاستجابات من الأفضل إلى الأسوأ. تتكرر هذه العملية آلاف المرات. يتم استخدام بيانات الترتيب هذه لتدريب "نموذج المكافأة"، وهو ذكاء اصطناعي وظيفته الوحيدة هي النظر في استجابة ومنحها درجة بناءً على مدى احتمال تفضيل الإنسان لها.

3. التعلم المعزز (الممارسة والصقل)

الآن، يتم إطلاق نموذج اللغة الكبير الأصلي في بيئة خاضعة للرقابة. يحصل على مطالبة وينشئ استجابة. يتم عرض هذه الاستجابة على الفور على نموذج المكافأة، الذي يمنحها درجة.

تعمل هذه الدرجة كـ "مكافأة". هدف نموذج اللغة الكبير هو زيادة مكافأته. إذا حصل على درجة عالية، يتم تعديل إعداداته الداخلية لجعله أكثر عرضة لتقديم إجابات مماثلة في المستقبل. إذا حصل على درجة منخفضة، فإنه يعدل إعداداته لتجنب هذا النوع من الاستجابة. من خلال ملايين الدورات من هذه التجربة والخطأ الآلية، يصقل نموذج اللغة الكبير سلوكه، ويتعلم باستمرار إنشاء إجابات سيجدها نموذج المكافأة—وبالتالي البشر—مفيدة وصادقة وغير ضارة.

لماذا يعتبر RLHF طفرة؟

RLHF هو أحد أهم الابتكارات التي جعلت نماذج مثل ChatGPT و Claude ممكنة. إنه الجسر الحاسم بين القدرة التقنية البحتة وسهولة الاستخدام الحقيقية. من خلال دمج تفضيلات الإنسان مباشرة في عملية التدريب، فإنه يحاذي سلوك الذكاء الاصطناعي مع سلوكنا، مما يخلق أداة ليست قوية بشكل لا يصدق فحسب، بل آمنة ومفيدة حقًا للجميع.