Vous souvenez-vous ?
Il y a quelque temps, nous avons demandé à ChatGPT de répondre à quelques questions d’orthographe et d’expression. L’objectif était de savoir si le désormais célèbre agent conversationnel se débrouillait bien en la matière (et allait mettre au chômage nos correctrices et nos correcteurs). Il s’en est sorti honorablement, mais a buté sur certaines questions un peu techniques comme l’accord des couleurs (nos correctrices et correcteurs ont poussé un « ouf » de soulagement).
Après quoi, nous avons fait passer à ChatGPT le Certificat Voltaire… Il a obtenu 589/1 000 à l’épreuve d’orthographe et 7/9 à l’épreuve d’expression.
Et maintenant ?
Eh bien, nous avons soumis à ChatGPT le dernier cahier de vacances du Projet Voltaire. Alors, s’en sort-il aussi bien qu’un humain ? Réponse dans les lignes qui suivent !
La grille de mots mêlés : échec total !
Malgré un grand nombre de précisions et d’explications, ChatGPT n’est pas parvenu à découvrir les mots cachés constituant les indices. Il n’a même pas su trouver des mots dans des lignes et des colonnes spécifiquement indiquées…
En revanche, il a parfaitement su trouver l’œuvre littéraire à partir des indices donnés. Reconnaissons-lui au moins cela pour ce premier jeu…
Les mots fléchés : de bonnes réponses… mais de grosses erreurs
Au jeu des mots fléchés, ChatGPT s’en est (un peu) mieux sorti. Il a su répondre correctement à plusieurs définitions (« Titan qui joue avec le feu », « Ami d’Harry Potter », « Ville où naquit Rousseau », « Poème lyrique »). Mais il s’est trompé (plus ou moins honorablement) sur d’autres points… et n’a pas toujours su respecter le nombre de cases indiquées dans le tableau (un point qu’il a d’ailleurs reconnu). Conclusion : un résultat mitigé.
En revanche, il s’en est encore une fois remarquablement tiré concernant l’œuvre à découvrir à partir des indices. Il a su également expliquer la présence de ces indices.
Le sens des mots : un sans-faute !
Aucun problème en revanche dès qu’il s’agit de comprendre les mots. Là, ChatGPT est sans conteste un expert. Il a associé à chaque mot la définition correcte.
En revanche, petit bémol pour la composition du mot « croque-mitaine » à partir des lettres données… Il a fallu un grand nombre d’explications et même un indice pour que ChatGPT trouve la réponse, après quelques propositions fantaisistes !
L’orthotypographie : un peu à prendre… beaucoup à jeter !
En orthotypographie, mieux vaut continuer à consulter nos experts ! Sur l’ensemble des questions posées, ChatGPT a repéré correctement une seule erreur : l’espace à placer avant et après le point-virgule. Pour tout le reste, l’agent conversationnel s’est sérieusement emmêlé les pinceaux et s’est lancé dans des explications fumeuses sur les espaces insécables. Il n’a pas repéré les erreurs liées aux majuscules (après des points de suspension ou après un point d’exclamation) ou aux espaces avant et après une virgule.
En revanche, une fois de plus, ChatGPT n’a eu aucun mal à identifier l’œuvre littéraire à laquelle appartenaient les différentes phrases lui ayant été soumises au préalable.
La conjugaison : rien à dire !
ChatGPT s’est montré très à l’aise sur l’exercice de conjugaison. Il a parfaitement su indiquer les propositions correspondant au temps indiqué entre parenthèses.
De surcroît, une fois de plus, ChatGPT a identifié du premier coup l’œuvre contenant les phrases proposées. Là encore, il a proposé un petit résumé pertinent de l’œuvre en question.
Les proverbes : du bon et du moins bon…
Faut-il une intelligence humaine pour comprendre le second degré et les sous-entendus ? Peut-être, en tout cas pour le moment. ChatGPT ne s’est pas montré très à l’aise sur cet exercice. Il a identifié quelques proverbes et le mot qu’il fallait trouver, mais il s’est trompé à plusieurs reprises.
Ainsi, quand il s’agissait de « mixer » plusieurs proverbes, ChatGPT n’a pas sur trouver le mot « comptes ».
L’épreuve finale : aucun souci
Enfin, ChatGPT a été soumis au test final : trouver un personnage à partir d’indices dissimulés dans des mots. Il ne s’est pas trompé. Nous avons juste remplacé la couleur rouge par des lettres capitales, mais la consigne demeurait la même : repérer les lettres à utiliser et composer le nom du personnage : Dracula.
Là encore, ChatGPT a ajouté un commentaire pertinent sur le personnage à découvrir. Dracula a bien été créé par l’écrivain Bram Stoker.
En conclusion, on notera que l’agent conversationnel a fait preuve d’une réussite certaine dans certains exercices, mais qu’il a été à la peine dans plusieurs autres. Il a fallu de surcroît le « prendre par la main » dans certains cas afin qu’il comprenne ce qu’il devait faire. Nous avons également fait le choix de lui présenter les exercices de manière segmentée. Serait-il parvenu à résoudre le mystère du cahier de vacances sans aucune indication de notre part, avec seulement des captures d’écran des jeux ? Cela nous semble très improbable… mais nous vous invitons à réaliser le test si le cœur vous en dit ! ?
Bonjour à toutes et à tous,
Je pense que ce logiciel est dans une phase d’apprentissage et que, plus tôt ou plus tard, il saura nous surpasser, hélas.
À nous d’être vigilants et de ne pas nous laisser aller à la paresse.
Bien à vous.
V. Garcia
C’est sans doute une coquille, néanmoins… « Il y a quelque temps » et non « quelques temps » !
Bonsoir, en effet, c’était une coquille, désormais corrigée :-). Merci et bonne soirée.