Plongements de mots, Convolution et Self-attention. Prédiction, création ou description des textes par l'I.A. ? - Campus AAR
Vidéo Année : 2024

Plongements de mots, Convolution et Self-attention. Prédiction, création ou description des textes par l'I.A. ?

Afficher 

Résumé

La nature des sorties machines de l’I.A. doit s’interroger au regard des algorithmes mobilisés. Les réseaux de neurones profonds reposent avant tout sur des (hyper)paramètres qui stabilisent (par apprentissage) des résultats en fonction d’une tâche déterminée par avance (supervisée). La généralisation de cette tâche est un problème connu et non résolu par le deep learning. La prédiction d’un mot d'après un prompt et de proche en proche d’un texte ne doit donc pas être généralisée à la production d’une réponse mais plutôt à une illusion suffisamment crédible pour être étudiée par les Humanités. Dès lors, il faut descendre au niveau des couches intermédiaires des réseaux de neurones profonds. Si certains (hyper)paramètres de l’I.A. représentent une combinatoire incompréhensible pour l’humain d’autres en revanche façonnent des représentations des textes qu’il est possible d’interpréter (Vanni et. al. 2018). L’I.A. peut ainsi glisser d’une tâche de prédiction vers une tâche exploratoire, descriptive des textes. Aujourd’hui, nous proposons avec une architecture de type Transformers (Vanni et. al. 2024) un moyen d’analyser les corpus d’entrainement et d’entrevoir les phénomènes statistiques en jeu dans les textes qui donnent l'illusion d'une créativité générative de type GPT.

Dates et versions

hal-04685430 , version 1 (27-11-2024)

Licence

Identifiants

  • HAL Id : hal-04685430 , version 1

Citer

Laurent Vanni, Pierre-Jean Vigny, Unité Tice-Dsirn, Christine Ho. Plongements de mots, Convolution et Self-attention. Prédiction, création ou description des textes par l'I.A. ?. 2024. ⟨hal-04685430⟩
22 Consultations
2 Téléchargements

Partager

More