👉 Ce qu’il faut retenir…
- Un LLM (Large Language Model) est une sorte de « super calculateur de phrases » qui utilise des règles pour prédire la suite logique d’un texte en fonction des mots qui le précèdent.
- Plus la demande (appelée « contexte ») est précise, plus les réponses sont cohérentes avec ce que l’on attend.
- Les LLMs comme ceux du célèbre ChatGPT montrent parfois des capacités surprenantes qu’ils ont développées en traitant d’énormes quantités de textes.
- Ils peuvent toutefois générer des réponses incorrectes ou décalées, appelées « hallucinations ».
Le fonctionnement des LLMs expliqué simplement
Les Grands Modèles de Language (LLMs) sont des outils puissants qui permettent de générer des textes en s’appuyant sur des règles complexes. Pour mieux comprendre, imaginez un ensemble de règles simples combinées entre elles pour déterminer la suite d’une phrase.
SI j'ai ce mot ET qu'il est suivi par celui-ci ET celui-là ALORS la suite probable EST celle-là. Voilà comment ça marche 😉Prédiction et contexte : les clés des LLMs
Un modèle de langage fonctionne un peu comme un jeu de devinettes. Par exemple, lorsqu’on lui donne une phrase incomplète comme « La souris est mangée par… », il utilise des règles statistiques pour deviner la suite logique : « le chat ». Ces règles sont basées sur ce qu’il a « appris » en lisant d’énormes quantités de textes.
Le contexte est crucial pour un LLM car il influence directement la manière dont il va compléter une phrase. Reprenons notre exemple et apportons du contexte : « Dans le désert, la souris est mangée par… ». Ici, le LLM comprend que l’environnement change, et donc la réponse probable aussi : « le serpent ». Rien de magique, juste des probabilités !
Des réponses surprenantes… et parfois pleine d’imagination
En traitant des millions de phrases, les LLMs finissent par développer des comportements inattendus, appelés « comportements émergents ». Par exemple, en analysant des phrases complexes, un LLM peut répondre d’une manière très nuancée ou intelligente, alors qu’il n’a jamais été explicitement programmé pour. C’est comme s’il devenait plus « intelligent » que ce qu’on imaginait au départ.
(cliquez sur l’image pour en savoir plus)
Malgré leur « intelligence », il arrive que ces modèles produisent des réponses qui paraissent plausibles, mais qui sont totalement inventées. Illustrons cela avec notre exemple : « Sur la planète Mars, la souris est mangée par… », il pourrait répondre « un redoutable prédateur extraterrestre ». Cela montre bien une nouvelle fois que la fonction première d’un LLM n’est pas de d’afficher la vérité, mais de prédire la suite d’une phrase ! Et c’est tant mieux car, comme nous le verrons plus tard, son imagination peut être très utile au quotidien, notamment dans le monde professionnel.
De la prédiction à l’intéraction : la « touche finale »
A ce stade, nous avions donc des modèles statistiques doués de compréhensions (relations complexes entre les mots), il n’y avait plus qu’à leur apprendre à répondre à des questions et plus généralement à suivre des instructions. Comment cela a-t-il été possible ?
D’abord en les affinant avec des exemples concrets d’instructions. Imaginez un professeur qui montre comment répondre correctement à une question : c’est ce qu’on appelle techniquement le « fine-tuning ». Combinés à l’intégration d’évaluations humaines pour les guider dans leur apprentissage, nous sommes ainsi arrivés aux fameux modèles que nous utilisons au quotidien. Ils sont donc désormais capable de suivre nos instructions et de nous répondre !
Je pense pouvoir dire que nous avons apporté une réponse au titre de cet article 😉.
✔ Pour aller plus loin…
- Les LLMs grand public sont pré-entraînés sur du contenu très diversifié. Afin qu’il puisse s’aligner aux besoins très spécifiques des professionnels, il est possible de les entrainer sur les données et processus de l’entreprise 😲 (nous en reparlerons, c’est très intéressant)
- Certains modèles ont des capacités à échanger avec d’autres modèles spécialisés (système multi-modèle) et d’autres sont « multimodaux » : ils sont capable de travailler avec du texte, des images, du son… Tout en même temps !
- Si vous avez aimé l’exemple de la souris et que vous souhaitez en savoir plus sur le fonctionnement des LLMs comme ChatGPT, visionnez cette vidéo. Elle émane de l’excellent David LOUAPRE de la chaîne « Science Etonnante ».
- Pour finir, si vous êtes joueur, un petit challenge vous attend juste en dessous ⏬👇
Passionné d’intelligence artificielle depuis près de 5 ans, j’aide les entreprises troyennes à exploiter son potentiel. L’IA offre désormais tellement de possibilités que chaque seconde perdue est une occasion manquée de prendre de l’avance.
