Les modèles de langage (LLMs) utilisés en intelligence artificielle reproduisent l'espace et le temps


Avec le développement des agents conversationnels, il devient possible de conduire des recherches en langage naturel et de mobiliser des données géospatiales. Les modèles de langage (LLMs) utilisés en intelligence artificielle reproduisent à leur manière l'espace et le temps. C'est ce que tend à montrer l'article publié par Gurnee & Tegmark :

Wes Gurnee, Max Tegmark (2023). Language Models Represent Space and Time. ArXiv:2310.02207v1 [cs.LG] 3 Oct 2023. https://arxiv.org/abs/2310.02207


Les capacités des grands modèles linguistiques (LLMs) suscitent des débats autour de la question de savoir si ces systèmes apprennent simplement à partir d'une énorme collection de statistiques ou s'ils constituent un modèle cohérent de génération de données – un modèle mondial. Dans cet article, les auteurs fournissent des preuves concernant le deuxième point en analysant les représentations à partir de trois ensembles de données spatiales (lieux du monde, des États-Unis, de New York) et de trois ensembles de données temporelles (personnages historiques, œuvres d'art, titres d'actualité) dans la famille de modèles Llama-2. Ils montrent que les LLMs apprennent des représentations linéaires de l'espace et du temps à plusieurs échelles. Ces représentations sont robustes pour fournir de l'unité et des variations entre différents types d'entités (par exemple, villes et monuments). De plus, ils identifient des « neurones spatiaux » et des « neurones temporels » individuels qui codent de manière fiable les coordonnées spatiales et temporelles.

Pour télécharger l'article en pdf.

Accès au code et aux données sur Github.

Pour compléter

IA & Géographie. Les intelligences artificielles génératives s'appliquent à beaucoup de domaines, notamment à l'information géospatiale. Il est désormais possible, par exemple, de choisir une liste de lieux, d'en faire chercher automatiquement les coordonnées géographiques par un agent conversationnel (du type ChatGPT ou autre) et de produire directement un fichier kml utilisable dans un globe virtuel (voir ce tutoriel).
Ecrit par -