L’inné, l’acquis et l'apprentissage statistique
Face à Frederic Skinner ou à Jean Piaget, Noam Chomsky défendait l’idée suivante : un enfant n’apprend pas à parler uniquement par apprentissage statistique des structures langagières employées par les adultes autour de lui.
La structure du langage, arguait-il, est beaucoup trop riche (et le jeu de données constitué par les phrases entendues entre l’âge de 0 et 4 ans beaucoup trop petit) pour qu’un enfant puisse apprendre à parler ainsi. L’être humain doit donc disposer d’une prédisposition génétique pour le langage. Il naît avec un cerveau sur lequel est pré-inscrit une “grammaire universelle”, sorte de compréhension intuitive des principes syntaxiques fondamentaux communs à toutes les langues.
Or nous savons depuis les LLM qu’il est tout à fait possible d’apprendre à parler par apprentissage statistique. On lit souvent que cela réfute la position de Chomsky.
Pourtant, ce n’est pas parce qu’il est possible d’apprendre à parler par entraînement statistique qu’il est impossible d’apprendre autrement, par exemple par un mélange d’inné et d’acquis.
D’autant que les données sur lesquelles les LLM sont entrainés sont beaucoup plus vastes et riches que les données auxquelles a accès un enfant. Un enfant de 3 ans n’a entendu que 10 à 30 millions de mots, alors que GPT-4 était entraîné sur des trilliards de mots. (Yann le Cun affirme qu’un enfant de 4 ans qui a été éveillé 16 000 heures a eu accès, à travers ses yeux, a 10 puissance 14 octets de données visuelles, soit le même ordre de grandeur qu’un grand LLM, entraîné sur 30 trillions de mots soit 10 puissance 14 octets de données textuelles. Mais François Chollet répond - de façon plus convaincante selon moi - que toutes les données ne se valent pas en termes de densité. Le flux vidéo naturel perçu par un enfant est redondant (fixer le mur de sa chambre pendant quelques secondes génère énormément de “données” brutes, mais aucune information nouvelle). Selon Chollet, une fois cette redondance purgée, le volume réel d’informations utiles absorbé par l’enfant est inférieur de quatre ordres de grandeur (10 000 fois moins) à celui ingéré par un LLM.)
L’enfant est d’une efficacité d’échantillonnage très supérieure à un LLM, ce qui tend plutôt à confirmer l’hypothèse de Chomsky : l’enfant naît avec un “pré-câblage” cognitif facilitant l’acquisition du langage1.
(Il est vrai que Chomsky a aussi affirmé qu’un apprentissage statistique ne permettrait jamais de capturer la complexité du langage humain, et sur ce point, les LLM lui donnent tort. Cela n’invalide pas pour autant sa théorie sur la façon dont les humains apprennent.
Par ailleurs, si le cerveau humain possède intrinsèquement une forme d’instinct du langage, il existe encore débat quant à savoir si cela est lié un module spécifiquement dédié au langage (la théorie de Chomsky), ou si cela est plutôt un sous-produit de l’intelligence générale. Quoi qu’il en soit, le cerveau humain, dès la naissance, est plutôt comparable à un LLM entrainé qu’à un réseau de neurones dont les poids seraient randomisés.2)
L'évolution comme phase de pré-entraînement de l’intelligence biologique
Si un LLM a besoin de beaucoup plus de données qu’un enfant pour apprendre à parler, peut-on en déduire que l’intelligence artificielle, dans sa forme actuelle, est moins efficiente que l’intelligence biologique ? Non, justement car il semble hasardeux de comparer le cerveau d’un nourrisson avec un réseau de neurones dont les poids seraient randomisés (c’est-à-dire avec un réseau de neurones qui n’a pas débuté son entraînement).
En réalité, le cerveau d’un enfant de 4 ans n’est pas entraîné que sur 30 millions de mots : il est le fruit de millions d’années de sélection naturelle, que l’on peut voir comme une forme de long cycle d’apprentissage par renforcement. Pendant des millions d’années, chaque échec (mort avant reproduction) et chaque succès (transmission du patrimoine génétique) ont mis à jour les poids des connexions entre les neurones à la génération suivante. C’est pourquoi nous avons des structures cérébrales pré-câblées pour comprendre la logique, le langage, la causalité, le temps, les hiérarchies sociales, etc.
Ce sont plutôt ces millions d’années d’évolution biologique que l’on peut comparer à l’entraînement hors-ligne des modèles.
Il serait donc pertinent de comparer la faculté d’un enfant à apprendre un nouveau langage avec la faculté d’un LLM à apprendre un nouveau langage dans une fenêtre de contexte. Et sur ce point, les LLM semblent être d’une très bonne efficacité ; en particulier, ils sont bien capables, avec relativement peu de données, d’apprendre un nouveau langage.
Durant leur entraînement hors-ligne (leur histoire évolutive), les LLM (les humains), acquièrent un méta-apprentissage de la structure linguistique (une “grammaire universelle”) qui leur permet, dans une fenêtre de contexte (au cours d’une vie) d’acquérir facilement un nouveau langage.
Où est la “force brute” ?
Beaucoup de critiques relativisent les performances des LLM sur des tests de raisonnement (comme le benchmark ARC-AGI) en arguant que pour développer cette forme d’intelligence fluide, les LLM ont été entraînés sur une quantité de données sans commune mesure avec ce qu’un humain absorbe au cours de sa vie. L’IA serait certes intelligente, mais elle le serait devenue sans mérite, par la force brute, en ingérant une quantité astronomique de données.
Non seulement cette posture trahit souvent un besoin de préserver notre singularité humaine, mais elle oublie que lorsque nous résolvons un nouveau problème, nous avons nous aussi été “entraînés” sur des millions, voire des milliards, de variations de ce problème. Chaque fois que l’un de nos ancêtres a triomphé d’un problème semblable, la sélection naturelle a récompensé le câblage cognitif qui nous permet aujourd’hui de résoudre ledit problème avec aisance.
(D’ailleurs, quand nous rencontrons un problème absent de notre jeu de données évolutif (comme calculer de tête 178181 multiplié par 117417), nous échouons. Notre seule échappatoire consiste alors à le décomposer en sous-problèmes qui eux font partie de notre jeu de données évolutif : une série de petites additions et multiplications à un ou deux chiffres, semblables aux calculs rudimentaires que nos ancêtres effectuaient pour compter ou partager des ressources.)
En fin de compte, y-a-t-il davantage de "force brute" dans la puissance de calcul des data centers ou dans le processus darwinien ayant exigé la naissance et la mort de milliards d’organismes biologiques pour raffiner notre architecture cérébrale ? Difficile à dire !
L’apprentissage en continu est-il résolu ?
Si l’histoire évolutive humaine correspond à l’entraînement hors-ligne des modèles et une vie humaine correspond à une fenêtre de contexte, on peut considérer qu’un LLM est déjà capable d’apprentissage en continu, puisqu’il peut, dans une même fenêtre de contexte, apprendre de nouvelles compétences. (Sans modification des poids de son réseau de neurones, certes, mais le résultat est le même3).
Dario Amodei affirmait récemment que le problème de l’apprentissage en continu serait résolu par le simple allongement des fenêtres de contexte, qui donnerait au modèle une permanence sur plusieurs mois, voire plusieurs années. Après tout, l’être humain vit une longue fenêtre de contexte (qui dure, en moyenne, 80 ans) : à sa mort, les savoir-faire qu’il a acquis (à l’école, à l’université, au travail…) disparaissent sans être transmis aux autres instances d’intelligence biologique.
On peut par ailleurs imaginer une coévolution entre le langage et les cerveaux humains. Nos cerveaux se sont adaptés, au fil d’un processus darwinien, à la structure du langage, et en même temps, notre culture a évolué pour privilégier les structures syntaxiques que nos cerveaux traitent facilement.
Steven Pinker, dans The Language Instinct, plaide plutôt pour un module cognitif dédié au langage. Parmi ses arguments, recensés brièvement ici, figure notamment l’idée que la capacité linguistique n’est pas la même chose que la capacité cognitive générale, puisqu’il est possible de posséder l’une sans l’autre :
- Il existe des troubles qui font qu’une personne naît avec un retard mental clinique, mais conserve ses capacités linguistiques. Le syndrome de Williams par exemple.
- À l’inverse, on peut avoir une intelligence normale mais avoir du mal à parler. Une personne victime d’un AVC ou d’une lésion qui détruit la partie de son cerveau responsable du langage, reste capable de raisonner et d’utiliser le reste de ses facultés.
- En 1998, des scientifiques ont découvert le gène FOXP2, qui contribue à doter de nombreux animaux (y compris les humains) de leurs capacités verbales. Lorsque des humains naissent avec une mutation de ce gène, ils possèdent des capacités cognitives se situant dans la norme (et ne présentent aucune malformation des muscles physiques liés à la parole), mais sont incapables d’utiliser la grammaire et un langage complexe.
(À mon avis, le succès des LLM ne permet ni de valider ni d’invalider cette hypothèse. On ne sait pas si leur compétences langagières sont un sous-produit de compétences “cognitives” plus larges, ou s’ils acquièrent des modules spécifiques, par exemple des sortes de méta-représentations de la structure du langage qui les aide ensuite à apprendre de nouvelles langues en contexte (mais qui pourraient exister indépendamment d’autres capacités émergentes comme la capacité à résoudre des problèmes de maths).
Tentez par exemple d’enseigner à ChatGPT les règles d’un nouveau jeu : il y a de bonnes chances qu’il sache ensuite jouer à un bon niveau, en tout cas sans avoir à pâlir de la comparaison avec un humain auquel on aurait enseigné une fois les règles. De même, on sait que les LLM sont capables de comprendre des choses qu’ils n’ont jamais rencontrées dans leurs données d’entraînement et généraliser à partir de quelques exemples, ce qu'on appelle le few-shot learning.