Interactive authoring of 3D shapes represented as programs - Archive ouverte HAL Access content directly
Theses Year : 2022

Interactive authoring of 3D shapes represented as programs

Création interactive de formes 3D représentées en tant que programmes

(1)
1

Abstract

Although hardware and techniques have considerably improved over the years at handling heavy content, digital 3D creation remains fairly complex, partly because the bottleneck also lies in the cognitive load imposed over the designers. A recent shift to higher-order representation of shapes, encoding them as computer programs that generate their geometry, enables creation pipelines that better manage the cognitive load, but this also comes with its own sources of friction. We study in this thesis new challenges and opportunities introduced by program-based representations of 3D shapes in the context of digital content authoring. We investigate ways for the interaction with the shapes to remain as much as possible in 3D space, rather than operating on abstract symbols in program space. This includes both assisting the creation of the program, by allowing manipulation in 3D space while still ensuring a good generalization upon changes of the free variables of the program, and helping one to tune these variables by enabling direct manipulation of the output of the program. We explore diversity of program-based representations, focusing various paradigms of visual programming interfaces, from the imperative directed acyclic graphs (DAG) to the declarative Wang tiles, through more hybrid approaches. In all cases we study shape programs that evaluate at interactive rate, so that they fit in a creation process, and we push this by studying synergies of program-based representations with real time rendering pipelines.We enable the use of direct manipulation methods on DAG output thanks to automated rewriting rules and a non-linear filtering of differential data. We help the creation of imperative shape programs by turning geometric selection into semantic queries and of declarative programs by proposing an interface-first editing scheme for authoring 3D content in Wang tiles. We extend tiling engines to handle continuous tile parameters and arbitrary slot graphs, and to suggest new tiles to add to the set. We blend shape programs into the visual feedback loop by delegating tile content evaluation to the real-time rendering pipeline or exploiting the program's semantics to drive an impostor-based level-of-details system. Overall, our series of contributions aims at leveraging program-based representations of shapes to make the process of authoring 3D digital scenes more of an artistic act and less of a technical task.
Malgré la constante amélioration de la technique et du matériel informatique, permettant de manipuler du contenu numérique de plus en plus volumineux, la création de scènes virtuelles 3D reste une tâche complexe; du fait notamment de la charge cognitive qu'elle impose aux artistes. Afin de fluidifier la création, des représentations d'ordre supérieur des formes 3D ont vu le jour~: une forme est encodée en tant qu'elle est un programme qui génère sa géométrie. Cela rend possible une meilleure organisation de la charge cognitive lors de la création, mais possède néanmoins ses propres sources de friction. Nous étudions au cours de cette thèse les défis et opportunités induits par la représentation par programme des formes 3D, dans le contexte de la création de contenu numérique. Nous cherchons à ce que l'interaction avec les formes reste autant que possible dans l'espace 3D, au lieu d'être une manipulation de symboles abstraits dans un espace de programmation. Il est question d'une part d'assister la création des programmes décrivant les formes, de permettre à l'artiste d'opérer dans l'espace 3D tout en assurant une bonne généralisation de ses actions lorsque les variables libres du programme sont modifiées, et d'autre part d'aider au contrôle de ces variables en permettant la manipulation directe de la géométrie générée par le programme. Nous explorons la diversité de possibilités de représentation des formes par un programme, en nous focalisant sur différents paradigmes de programmation visuelle, allant des graphes orientés acycliques (DAG), impératifs, aux tuiles de Wang, déclaratives, en passant par des approches plus hybrides. Dans tous les cas, nous étudions des programmes de forme capables d'être évalués en temps interactif, de sorte qu'ils aient leur place dans un processus de création; aussi étendons-nous notre étude aux synergies que ces représentations par programme peuvent établir avec les systèmes de rendu en temps réel. Nous rendons possible l'utilisation de méthodes de manipulation directe sur la géométrie générée par DAG grâce à un jeu de règles de réécriture automatique et un filtre non linéaire de donnée différentielle. Nous aidons la création de programmes de forme impératifs en transformant des sélections d'éléments géométriques en des requêtes sémantiques, et la création de programmes déclaratifs en proposant un mode d'édition du contenu géométrique de tuiles de Wang centré sur les sections aux interfaces entre tuiles. Nous étendons les moteurs de pavage par tuiles pour prendre en compte des paramètres continus et suggérer automatiquement de nouvelles tuiles à ajouter. Nous intégrons les programmes de forme à la boucle de retour visuel en délégant l'évaluation du contenu des tuiles au système de rendu en temps-réel, et exploitons la sémantique du programme pour dériver un système de niveau de détails par imposteurs visuels.En résumé, notre série de contributions vise à tirer parti des représentations par programme des formes pour faire du processus de création de scènes numérique 3D une tâche plus artistique et moins technique qu'elle ne l'est.
Fichier principal
Vignette du fichier
113553_MICHEL_2022_archivage.pdf (165.1 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03783743 , version 1 (22-09-2022)

Identifiers

  • HAL Id : tel-03783743 , version 1

Cite

Élie Michel. Interactive authoring of 3D shapes represented as programs. Image Processing [eess.IV]. Institut Polytechnique de Paris, 2022. English. ⟨NNT : 2022IPPAT027⟩. ⟨tel-03783743⟩
68 View
1 Download

Share

Gmail Facebook Twitter LinkedIn More