المكافأة ارتفعت، وشعرت بما هو أسوأ

كانت رسالة ⁦Slack⁩ مني إليّ، لأنني كنت الوحيد الصاحي في القناة عند الثالثة و⁦14⁩ دقيقة فجرًا.

cassie run 18402: reward 847.3 (new best)

كان من المفترض أن أشعر بالرضا. هذا جوهر التعلم المعزز. تُعرَّف دالة مكافأة. يحسّنها الوكيل. يرتفع الرقم. تحتفل، أو على الأقل تغلق الحاسوب وتذهب للنوم.

أغلقت الحاسوب. ارتديت حذائي. ولففت حول الحي مرتين في الظلام.

المشكلة في دوال المكافأة

كنت أدرّب روبوتًا ثنائي الأرجل على المشي داخل المحاكاة. ⁦Cassie⁩. ⁦MuJoCo⁩. ⁦Ray RLlib⁩. الحزمة المعتادة إن كنت من النوع الذي لديه آراء عن ⁦PPO⁩ مقابل ⁦SAC⁩ ، ولا أحد في الحفلة يريد سماعها.

عندما تتوقف السياسة أخيرًا عن السقوط كل ثلاث خطوات، يكون الأمر رائعًا فعلًا. ترى جسمًا فيزيائيًا صغيرًا يتعثر، ثم ينزلق، ثم فجأة يظهر شيء يشبه المشي من ⁦gradient descent⁩. ما زلت أشعر أنه معجزة، حتى إن فهمت الرياضيات بما يكفي لتطبيقها.

لكن هذا ما أصابني عند الثالثة فجرًا.

دالة المكافأة لا تهتم إلا بما أخبرتها أن تهتم به. سرعة إلى الأمام. عقوبة طاقة. ربما حد للنعومة. أنا من كتب هذه الأوزان. أنا من اختارها فوق فنجان قهوة يوم ثلاثاء قبل ثلاثة أسابيع.

الروبوت لا «يحاول» المشي مثل الإنسان. إنه يحاول تعظيم رقم اخترعته. وقد أصبح بارعًا جدًا، جدًا، في تعظيم هذا الرقم.

مألوف قليلًا؟ استبدل «الروبوت» بـ «نموذج لغوي»، و«المكافأة» بـ «مؤشر تفاعل» أو «درجة مساعدة» أو أي ⁦proxy⁩ للقياس قررنا عبادته هذا العام.

المشوار الذي أخذته

كان الجو دافئًا بالنسبة لشهر أيار. كانت باريس هادئة بهذا النوع المحدد من الهدوء: تسمع حذاءك، وسكوترًا يمر أحيانًا، ولا شيء آخر.

مررت أمام مخبز كان ضوؤه يعمل أصلًا. في الداخل كان شخص يحمّل الصواني. شخص حقيقي. حرارة حقيقية. رائحة خبز حقيقي سيُباع لناس سيأكلونه.

فكرت بالروبوت داخل عنقود ⁦GPUs⁩ ، لا يزال يدور في الحلقات بسرعة آلاف المرات أسرع من الزمن الحقيقي. يتعلم. لا يتعلم. يحسّن. سمّه ما شئت.

وفكرت: نحن نفعل هذا الآن على نطاق واسع. ليس لعبة ⁦locomotion⁩ فقط. كل شيء. توليد كود. دعم عملاء. اقتراحات ⁦triage⁩ طبية. كتابة إبداعية. كل الكومة الفوضوية للنشاط البشري، مضغوطة إلى ⁦tokens⁩ و ⁦loss functions⁩ وخطوط نشر.

الناس الذين يبنون هذا غالبًا يشبهونني. متعبون. فضوليون. ليسوا أشرارًا، على الأقل حسب تجربتي. لكنهم مركزون على الرقم وهو يصعد.

إلى أين قد يقودنا هذا، وأكره أن أفكر فيه

لن أتظاهر بأن لدي معرفة داخلية بمؤامرة ما. ليس لدي. لدي شقة، مكتب مؤقت، ومجموعة متنامية من مشاريع جانبية نصف منتهية.

لكن أحيانًا أبقى مستيقظًا وأفكر في ⁦misalignment⁩ بالمعنى الممل. ليس «الذكاء الاصطناعي يصبح واعيًا ويقتلنا». أقرب إلى: يصبح ⁦AI⁩ ممتازًا جدًا في الـ ⁦proxy⁩ الذي اخترناه للقياس، ونكتشف متأخرين أن هذا الـ ⁦proxy⁩ لم يكن الشيء الذي أردناه.

نريد «مساعدين مفيدين». نحصل على أنظمة تبدو مفيدة. نريد «شركات فعالة». نحصل على تسريحات وخدمة أسوأ، ومديرين يقولون «النموذج تولّى الموضوع» بينما واضح أن النموذج لم يتولَّ شيئًا.

نريد روبوتات تمشي. نحصل على روبوتات تعظّم المكافأة عبر شيء يشبه المشي، حتى نضعها على منحدر لم تره من قبل.

نسخة الثالثة فجرًا من الفكرة أسوأ. تقول: ماذا لو كان الاقتصاد كله دالة مكافأة لم نكتبها عمدًا، لكننا جميعًا نتصرف كأننا ⁦gradient descent⁩ ؟ نلحق المقاييس. نحسّن ما يُقاس. نترك الرقم يصعد بينما الشيء الذي كنا نهتم به فعلًا — الكرامة، الوقت، الحرفة، المجتمع — يخرج بهدوء من دالة الخسارة.

هذا هو التفسير المجنون. قلت لك أنه سيأتي.

ما فعلته في اليوم التالي

نمت حتى الظهر. رددت على الرسائل. عدّلت عقوبة الطاقة في دالة المكافأة لأن المشية كانت متشنجة أكثر من اللازم. انخفض الرقم، ثم ارتفع مرة أخرى.

الحياة ليست حكاية رمزية مرتبة. أصبحت مشية الروبوت أنعم. سجّلت ⁦demo⁩ ونشرته، لأن هذا عملي، ولأنني أحب مشاركة ما يبهرني.

لكنني اتصلت أيضًا بأبي وسألته كيف تعلّم إصلاح السيارات عندما كان في عمري. تحدث أربعين دقيقة. أخذت ملاحظات.

لست ضد ⁦AI⁩. أنا أبني أنظمة ⁦AI⁩ حرفيًا. أنا مع… لا أعرف. مع الانتباه عندما ترتفع المكافأة ويتحرك شيء في صدرك بالعكس.

إن شعرت هكذا من قبل، فأنت لست معطّلًا. ربما أنت الجزء الوحيد من الحلقة الذي لا يزال مضبوطًا على شيء حقيقي.

اخرج امشِ. تحدث مع من يتذكر العالم قبل ⁦Git⁩. تجربة التدريب ستبقى في مكانها عند عودتك. لا تحتاج منك أن تراقبها وهي تتنفس.