Au cours de la dernière décennie, l’apprentissage profond a fait progresser l’analyse de texte, d’image, d’audio et de vidéo. Plus récemment, les transformers et l’apprentissage auto-supervisé ont déclenché une compétition généralisée visant à entraîner des modèles gigantesques sur d’immenses jeux de données, au moyen d’énormes ressources de calcul. Cette thèse porte sur l’analyse de nuages de points 3D à grande échelle et adopte une approche différente centrée sur l’efficacité. Nous introduisons des méthodes qui améliorent plusieurs aspects de l’état de l’art : entrainement plus rapide, moins de paramètres, coût de calcul plus faible, plus économe en mémoire et meilleure utilisation des données disponibles de manière réaliste. Ce faisant, nous nous efforçons de concevoir des solutions en vue d’une Intelligence Artificielle (IA) plus sobre et plus accessible. Nous introduisons d’abord un modèle de segmentation sémantique 3D qui combine l’efficacité des méthodes basées superpoints avec l’expressivité des transformers. Nous construisons une représentation hiérarchique des données qui nous permet d’accélérer considérablement l’analyse de grands nuages de points 3D. Notre réseau se révèle égaler, voire surpasser, les approches de pointe sur une gamme de capteurs et d’environnements d’acquisition, tout en réduisant le nombre de paramètres et le temps d’entrainement de un à deux ordres de grandeur. Nous étendons ensuite ce cadre à la segmentation panoptique de nuages de points à grande échelle. Les méthodes existantes de segmentation d’instance et de segmentation panoptique ne sont pas adaptées aux grandes scènes comportant de nombreux objets, car le calcul de leur fonction de coût implique une étape fastidieuse d’appariement entre les instances réelles et prédites. Au lieu de cela, nous formulons cette tâche comme un problème de clustering de graphe, qu’un petit réseau est entrainé pour résoudre à partir d’objectifs locaux uniquement, sans nécessiter le calcul d’instances durant l’entraînement. Notre modèle peut traiter des scènes de dix millions de points à la fois sur un seul GPU en quelques secondes, ouvrant la voie à la segmentation panoptique 3D à des échelles sans précédent. Enfin, nous proposons d’exploiter la complémentarité des modalités image et nuage de points pour améliorer l’analyse de scènes 3D. Nous nous plaçons dans un cadre d’acquisition réaliste, où plusieurs images arbitrairement positionnées observent la même scène, avec de potentielles occultations. Contrairement aux approches existantes de fusion 2D-3D, nous apprenons à sélectionner des informations à partir de différentes vues du même objet en fonction de leurs conditions d’observation respectives : distance caméra-objet, taux d’occultation, distorsion optique, etc. Notre implémentation efficace atteint l’état de l’art tant pour des scènes d’intérieur que d’extérieur, avec des exigences minimales : nuages de points bruts, images positionnées de manière arbitraire et les poses de leurs caméras. Dans l’ensemble, cette thèse soutient le principe que, dans des régimes où les données sont rares, exploiter la structure du problème permet de développer des architectures à la fois efficaces et performantes.