L’intelligence artificielle est désormais assez intelligente pour passer les examens de géométrie du niveau SAT

Nous entendons toujours parler de l’intelligence artificielle (IA) et des technologies automatisées qui vont remplacer nos emplois dans un avenir proche. Des chercheurs américains viennent de mettre au point un programme d’IA capable de répondre à des questions de géométrie de niveau 11 du SAT. Et il ne s’agit pas d’une affirmation théorique : ils ont en fait donné au logiciel de vraies questions tirées du SAT (y compris des questions que le programme n’avait jamais vues auparavant) pour voir comment il s’en sortait.

Comment s’est-il comporté ? Eh bien, de manière assez étonnante, étant donné que cela n’avait jamais été fait auparavant – mais nous pouvons aussi nous sentir confortablement assurés que l’IA ne remplacera pas les mathématiciens humains de sitôt. Sur les questions d’entraînement, le système a obtenu un score considérable de 61 %, mais il a déçu au moment de l’épreuve, ne parvenant qu’à 49 % (ouch, si près du but !) pour les questions officielles du SAT.

Les résultats de cette recherche, présentés cette semaine à la conférence sur les méthodes empiriques de traitement du langage naturel à Lisbonne, montrent les progrès accomplis par les systèmes d’IA, mais indiquent également qu’il y a encore une bonne marge de progression. (Nous imaginons que le bulletin de notes de l’IA se lirait comme le classique : “L’IA est prometteuse, mais doit s’appliquer pour obtenir de meilleures notes”)

Vous pouvez voir les types de questions avec lesquelles le logiciel a été testé en ligne. Si l’on vous a déjà enseigné ce niveau de mathématiques, ce n’est pas particulièrement difficile (pour un humain, en tout cas), mais le véritable défi pour les chercheurs consiste à apprendre au logiciel à reconnaître correctement toutes les informations visuelles de la page afin de comprendre ce qu’on lui demande de faire.

Comme l’a expliqué l’un des chercheurs, Ali Farhadi de l’université de Washington, à John Markoff du New York Times, les marques visuelles faciles à comprendre, même pour les enfants – par exemple, une flèche dessinée dans un diagramme de test – ne sont pas encore quelque chose que l’IA la plus avancée peut toujours identifier correctement dans son contexte.

“Beaucoup de mes collègues ont dit que la vision industrielle est un problème résolu”, a déclaré Farhadi. “Ma réponse est : “Appelez-moi quand vous aurez résolu ce problème”.”

Mais si l’IA ne peut pas toujours comprendre les questions avec précision, le fait qu’elle obtienne des notes de passage ou proches des notes de passage en mathématiques de niveau SAT est en soi une réussite assez étonnante. Peut-être pas tout le temps – mais néanmoins la plupart du temps – le logiciel peut combiner une compréhension suffisante des diagrammes, des flèches, des chiffres, des formes et des phrases écrites sur une page pour identifier correctement les questions de géométrie qui lui sont posées et y répondre.

Prochaine étape : Philosophie 101 !