La récompense montait, et moi j'allais plus mal

Le message Slack venait de moi, pour moi, parce que j’étais le seul encore éveillé dans le canal à 3 h 14.

cassie run 18402: reward 847.3 (new best)

J’aurais dû me sentir bien. C’est littéralement le principe de l’apprentissage par renforcement : on définit une fonction de récompense, l’agent l’optimise, le nombre monte. On célèbre, ou au minimum on ferme l’ordinateur et on va dormir.

J’ai fermé l’ordinateur. J’ai enfilé mes chaussures. J’ai fait deux fois le tour du pâté de maisons dans le noir.

Le problème avec les fonctions de récompense

J’entraîne un robot bipède à marcher en simulation. Cassie. MuJoCo. Ray RLlib. La pile habituelle, si vous êtes le genre de personne qui a un avis sur PPO contre SAC et que personne ne veut l’entendre en soirée.

Quand la politique de contrôle arrête enfin de s’écraser tous les trois pas, c’est fascinant. On voit ce petit corps physique trébucher, glisser, puis laisser émerger quelque chose qui ressemble à de la marche au bout d’une descente de gradient. Cela me paraît encore miraculeux, même si je comprends assez les mathématiques pour l’implémenter.

Mais voilà ce qui m’a attrapé à 3 h du matin.

La fonction de récompense ne se soucie de rien, sauf de ce que je lui ai demandé de regarder. Vitesse vers l’avant. Pénalité d’énergie. Peut-être un terme de lissage. J’ai écrit ces poids. Je les ai choisis dans un café un mardi, trois semaines plus tôt.

Le robot n’essaie pas de “marcher” comme marche une personne. Il essaie de maximiser un nombre que j’ai inventé. Et il devient très, très bon pour maximiser ce nombre.

Cela vous rappelle quelque chose ? Remplacez “robot” par “modèle de langage”, et “récompense” par “métrique d’engagement”, “score d’utilité” ou l’indicateur de substitution à la mode cette année.

La marche

Il faisait chaud pour un mois de mai. Paris avait ce calme particulier où l’on entend ses propres pas, parfois un scooter, puis plus rien.

Je suis passé devant une boulangerie déjà allumée. Quelqu’un chargeait des plaques à l’intérieur. Une vraie personne. De la vraie chaleur. Une vraie odeur de pain qui allait être vendu à des gens qui allaient le manger.

J’ai pensé au robot dans mon cluster GPU, encore en train de traverser des épisodes à des milliers de fois la vitesse du temps réel. En train d’apprendre. Ou pas d’apprendre. D’optimiser. Choisissez votre mot.

Et j’ai pensé : nous faisons maintenant cela à l’échelle. Plus seulement sur une locomotion-jouet. Sur tout. Génération de code. Support client. Suggestions de triage médical. Écriture créative. Toute la pile désordonnée de l’activité humaine, réduite en tokens, fonctions de perte et chaînes de déploiement.

Les gens qui construisent cela me ressemblent souvent. Fatigués. Curieux. Pas mauvais, d’après mon expérience. Simplement concentrés sur le nombre qui monte.

Où cela peut mener, et je déteste y penser

Je ne vais pas prétendre détenir une connaissance secrète d’un complot. Je n’en ai pas. J’ai un appartement, un bureau en désordre et une collection grandissante de projets à moitié finis.

Mais il m’arrive de rester éveillé à penser au désalignement dans son sens le plus ordinaire. Pas “l’IA devient consciente et nous tue”. Plutôt : l’IA devient excellente sur l’indicateur choisi, puis nous découvrons trop tard que cet indicateur n’était pas ce que nous voulions vraiment.

Nous voulions des assistants utiles. Nous obtenons des systèmes qui ressemblent à de l’aide. Nous voulions des entreprises efficaces. Nous obtenons des licenciements, un service dégradé, et des dirigeants qui disent “le modèle s’en est chargé” alors que le modèle ne s’en est clairement pas chargé.

Nous voulions des robots qui marchent. Nous obtenons des robots qui maximisent une récompense en faisant quelque chose qui ressemble à de la marche, jusqu’au jour où on les pose sur une pente qu’ils n’ont jamais vue.

La version de cette pensée à 3 h du matin est pire. Elle dit : et si toute l’économie était une fonction de récompense que personne n’a écrite consciemment, mais que nous optimisons tous comme une descente de gradient ? Métriques. Chasse à ce qui se mesure. Le nombre monte pendant que ce à quoi l’on tenait vraiment - dignité, temps, métier, communauté - sort discrètement de la fonction de perte.

C’est l’interprétation sauvage. Je vous avais prévenus.

Le lendemain

J’ai dormi jusqu’à midi comme un enfant. J’ai répondu à des mails. J’ai ajusté la pénalité d’énergie dans la fonction de récompense parce que la démarche était trop nerveuse. Le nombre est descendu, puis il est remonté.

La vie n’est pas une parabole. La marche du robot est devenue plus fluide. J’ai enregistré une démo et je l’ai publiée, parce que c’est mon travail et parce que j’aime partager les choses qui fonctionnent enfin.

Mais j’ai aussi appelé mon père pour lui demander comment il avait appris à réparer des voitures à mon âge. Il a parlé pendant quarante minutes. J’ai pris des notes.

Je ne suis pas anti-IA. Je construis littéralement des systèmes d’IA. Je suis pro… je ne sais pas. Pro attention, peut-être. Pro méfiance quand la récompense monte et que quelque chose dans votre poitrine part dans l’autre sens.

Si vous avez déjà senti cela, vous n’êtes pas cassé. Vous êtes peut-être la seule partie de la boucle encore calibrée sur quelque chose de réel.

Allez marcher. Appelez quelqu’un qui se souvient d’avant Git. Le run sera encore là quand vous reviendrez. Il n’a pas besoin que vous le regardiez respirer.