Marie-Paule Cani, Professeure à Grenoble INP et responsable d’une équipe commune au Laboratoire Jean Kuntzmann et à Inria, est la toute nouvelle titulaire de la Chaire «Informatique et sciences numériques» du Collège de France où elle présente un cours intitulé « Façonner l’imaginaire : de la création numérique 3D aux mondes virtuels animés » (leçon inaugurale le 12 février 2015). Nous nous sommes émerveillés devant les images de synthèse en 3D, dans des films, des jeux vidéo ou des œuvres d’art. Marie-Paule nous explique comment l’informatique graphique va continuer à nous faire rêver. Serge Abiteboul.
Marie-Paule Cani – Photo Collège de France
De la création numérique 3D aux mondes virtuels animés
Le monde numérique est un espace artificiel où l’être humain règne en maitre, créant les contenus ou orchestrant leur génération à partir de données ou d’algorithmes. Mais il est parfois frustrant de ne créer que de l’immatériel – que l’on peut difficilement voir et encore moins toucher. C’est sans doute pour cela que la création numérique 3D fait tant rêver. Elle permet d’ébaucher des formes en quelques gestes, puis de les observer sous tous les angles et de les manipuler virtuellement. Elle ouvre la voie vers la fabrication automatique de prototypes physiques à partir de ces formes – par exemple via l’impression 3D, nous offrant ainsi la faculté unique de matérialiser l’immatériel. Enfin, elle permet de donner vie à d’autres mondes – des mondes virtuels peuplés et animés – puis de les explorer en s’y immergeant de tous nos sens grâce à la réalité virtuelle.
Tout en étant capables, dans une certaine mesure, de reconstruire ou d’imiter le monde réel, les contenus 3D constituent un moyen privilégié pour exprimer notre imaginaire. Au-delà d’une dimension ludique et artistique qui s’exprime largement au travers des jeux vidéo, du cinéma et de l’art numérique, la création graphique 3D offre un outil formidable aux chercheurs et ingénieurs de tous domaines. Elle permet à l’ingénieur de créer virtuellement son objet d’étude puis de le tester pour l’améliorer avant même qu’il ne soit fabriqué dans le monde physique. Le scientifique (du biologiste à l’archéologue) pourra pour sa part exprimer ses hypothèses sous forme visuelle, puis explorer les contenus ainsi créés pour affiner sa compréhension de son objet d’étude. L’interaction avec un support visuel permet en effet au créateur de raffiner progressivement sa vision, bien mieux que ne le ferait une simple image mentale. Léonard de Vinci en avait eu l’intuition. Des recherches récentes en psychologie cognitive ont démontré que l’interaction visuelle avec une ébauche permet d’éveiller des parties de la mémoire ignorées par une description analytique, d’imaginer et d’explorer mentalement un espace de solutions possibles, permettant ainsi de compléter progressivement sa création.
Créations numériques © Grenoble-INP, Inria, Lyon 1
À quand remonte ce goût pour la création 3D ? De tout temps, l’être humain a cherché à maîtriser la création de formes et même de mouvements, qu’ils soient inspirés par le réel ou simplement imaginés. Contrairement au son que nous pouvons produire directement sans l’aide d’instruments, l’être humain ne dispose pas de moyens physiques pour exprimer et communiquer des formes tridimensionnelles : il a besoin d’un support et d’outils pour les représenter. Ce support a pu être le sable, le rocher, l’argile … et les premiers outils ont probablement été les doigts ou un silex. Se sont développés le dessin et la peinture, qui ne peuvent représenter que des projections planes des formes, mais qui s’avèrent parfois précieux pour évoquer l’incertitude ou pour exprimer une action (pensons à la bande dessinée) ; et la sculpture, qui permet de représenter précisément des formes statiques en 3D mais ne sait évoquer le mouvement qu’à travers des situations de déséquilibre.
Aujourd’hui, de plus en plus d’êtres humains disposent du média numérique et le manipulent plus quotidiennement qu’une boule de pâte à modeler, ou même, pour certains, qu’un papier et un crayon. L’outil numérique pourrait-il devenir à terme le média ultime, offrant à chacun cette capacité que nous recherchons depuis toujours, à savoir celle d’ébaucher en temps-réel puis raffiner progressivement les formes et des mouvements que nous imaginons, grâce à cette interaction visuelle si propice à la création ? De manière immédiate, des qualités du support numérique le rendant supérieur à tout support physique viennent à l’esprit : il peut permettre de dessiner dans le plan mais aussi en volume (en « 3D »); d’ébaucher non seulement des formes statiques, mais aussi des formes en mouvement ; de stocker et de visualiser ces créations à différents niveaux de détails ; de revenir en arrière au besoin, de copier, dupliquer et coller des détails. Plus encore, le numérique pourra apporter de l’aide à ceux qui n’arrivent pas à exprimer leurs imaginaire dans le monde réel, pensant qu’ils « ne savent pas dessiner ». Cependant, un long chemin reste à parcourir pour mettre ce média numérique à la portée de tous. Une série de recherches récentes ouvrent la voie.
La création numérique 3D
Les travaux que nous allons présenter ici correspondent au champ disciplinaire de l’Informatique Graphique, dont la communauté scientifique s’est structurée en France dès la fin des années 80. A l’opposé des technologies qui prennent des images en entrée, comme le traitement d’images, la vision par ordinateur ou l’imagerie médicale, l’informatique graphique s’intéresse aux méthodes pour produire des images en sortie. Ces images artificielles sont appelées images de synthèse.
Si elles sont visuelles et parlent à tous, les images de synthèse cachent des modèles mathématiques et des algorithmes de simulation de phénomènes physiques, dont l’efficacité est essentielle. Les chercheurs en informatique graphique développent des représentations mathématiques dédiées aux formes 3D ainsi que des méthodes pour les façonner virtuellement : il s’agit de la « modélisation géométrique. Ils proposent des méthodes pour décrire ou générer les mouvements et les déformations de ces formes au cours du temps : il s’agit de « l’animation ». Enfin, ils explorent les chaînes de traitement permettant de passer du monde numériques 3D qui en résulte à une image ou à un film, semblables à ceux qu’auraient pu saisir une caméra : il s’agit du « rendu ».
Au cours des dix dernières années, l’accroissement des capacités mémoire et de la puissance de calcul des ordinateurs ont permis de stocker, de traiter et d’afficher des données 3D massives (plusieurs millions de polygones), produisant des images de synthèse parfois difficiles à différencier du réel : on parle de « réalisme visuel ». En parallèle, les utilisateurs attendent des mondes virtuels un contenu toujours plus impressionnant, riche et détaillé. Mais comment créer ces contenus ?
Deux approches ont été développées jusqu’ici pour accélérer la création de contenus 3D : la capture de données réelles et la génération automatique. Cependant, même s’il était possible de capturer un à un chaque élément de notre monde, l’utilisation massive d’objets capturés briderait la créativité. Et pour sa part, la génération automatique n’offre qu’un contrôle indirect et assez limité du résultat. De ce fait, la création graphique passe encore principalement par la modélisation interactive, via des logiciels dédiés. Des centaines d’artistes infographistes, ayant reçu plusieurs années de formation dans des écoles spécialisées, s’attellent à la création des éléments de chaque nouvel univers virtuel. Par exemple, la création du film « La reine des neiges » de Disney, sorti en novembre 2013, a demandé le travail de 650 personnes pendant deux ans. Pour accélérer le processus de création, des supports physiques (papier, argile) sont utilisés aux premiers stades de la conception. Recréer et améliorer chaque forme et chaque mouvement sous forme numérique demande des mois d’un travail minutieux et souvent fastidieux (pensons à un décor naturel dont la végétation est agitée par le vent, ou aux nombreux éléments animés d’une scène urbaine). De plus, la complexité des logiciels demande aux utilisateurs de rester concentrés sur la maitrise de l’outil pour naviguer dans un dédale de menus et sous-menus, au lieu de penser uniquement à la forme créée. Ainsi, Rob Cook, directeur scientifique de Pixar, a affirmé en 2009 que le grand défi en informatique graphique est de “rendre les outils aussi invisibles aux artistes que les effets spéciaux ont été rendus invisibles au grand public!” En effet, un spectateur ne se demande plus ce qui est réel ou virtuel lorsqu’il est plongé dans un film comme « Avatar » : il est emporté par l’histoire… De même, les créateurs de contenus 3D devraient pouvoir créer sans se soucier de l’outil, comme s’il s’agissait d’un simple prolongement de leurs doigts.
Comment mettre la création 3D à la portée de tous, permettant à tout un chacun de « façonner l’imaginaire », au fur et à mesure qu’il lui vient en tête, et plus facilement qu’avec un papier et un crayon ? C’est l’objet d’un nouveau courant de recherche en informatique graphique, que j’appellerai la « modélisation expressive »1.
Vers une modélisation expressive
Des recherches récentes en informatique graphique s’attachent à développer des méthodes de création 3D mariant simplicité et rapidité d’utilisation avec la qualité visuelle et le contrôle des résultats. L’objectif est que l’utilisateur puisse littéralement « façonner » les formes et les mouvements qu’il imagine tout en s’appuyant sur l’outil numérique pour compléter automatiquement les détails et pour maintenir les contraintes qu’il souhaite en matière de réalisme. Pour cela, nous assistons à l’émergence de trois principes méthodologiques :
- Tout d’abord, une création par gestes est proposée. Ces derniers peuvent être des gestes de dessin pour ébaucher une nouvelle forme, des gestes de sculpture ou de modelage pour l’améliorer ou lui ajouter des détails, ou encore des gestes de mime pour indiquer un mouvement. A ces métaphores d’interaction inspirées du monde réel sont ajoutées certaines actions simples qui ont déjà révolutionné les environnements numériques comme le fait de copier-coller pour reproduire et transférer certains éléments.
- Deuxièmement, les modèles graphiques sont revisités de manière à ce qu’ils réagissent comme l’attendrait un utilisateur humain, sous ces gestes d’interaction. Pour cela, il s’agit d‘intégrer des connaissances adéquates dans les modèles, leur permettant de répondre à la sémantique qu’un utilisateur humain associe, presque involontairement, à ses actions.
- Enfin, différentes méthodologies de passage à l’échelle sont développées, pour permettre à l’utilisateur d’orchestrer la création d’un monde virtuel complexes, constitué de hiérarchies d’éléments éventuellement animés, sans avoir à les manipuler un à un.
Pour mieux décrire ces principes, prenons un exemple : la création d’un arbre virtuel.
Un arbre inclue une multitude d’éléments de différentes dimensions, structurés en distributions aux propriétés statistiques spécifiques du fait des lois biologiques qui le régissent. Il s’agit d’offrir à l’utilisateur la capacité de créer rapidement un arbre 3D particulier dans sa forme, mais plausible, alors même que modéliser les milliers de branches qui le composent demanderait des connaissances spécifiques et serait extrêmement fastidieux.
Plutôt que d’aborder une telle tâche directement en 3D, l’utilisation d’une métaphore de dessin 2D, inspirée de la manière dont un artiste ébauche rapidement un arbre puis précise progressivement son dessin, peut permettre d’accélérer considérablement cette tâche : l’utilisateur dessine en un seul geste le contour de l’arbre ; le système s’appuie sur des lois géométriques et biologiques pour en déduire la structure interne de premier niveau, c’est-à-dire la position des plus grosses branches, que l’utilisateur peut corriger manuellement s’il le souhaite. Cette idée de passer par un seul trait – une silhouette – est un exemple de méthode de passage à l’échelle : tandis que l’utilisateur garde un contrôle global sur la forme, la machine gère les détails, et ce de manière probablement plus réaliste qu’il ne l’aurait fait. A l’aide d’un gros plan sur l’une des sous-structures associées, l’utilisateur peut alors raffiner localement son dessin, et ainsi de suite sur plusieurs niveaux, jusqu’à aboutir au dessin d’une ou plusieurs feuilles. Tandis qu’il revient vers une vue d’ensemble, les structures dessinées sont automatiquement complétées par la génération de distributions aléatoires de sous-branches sur les branches voisines de même niveau, tout en vérifiant les mêmes propriétés statistiques que les parties dessinées. Chaque élément est également plongé en 3D de manière plausible, grâce encore une fois au respect de certaines lois biologiques. Enfin, des branches venant vers l’avant et partant vers l’arrière sont ajoutées. Ainsi, un arbre complet peut-être créé en quelques gestes.
Création d’un arbre 3D par dessin multi-résolution.
À chaque niveau d’échelle, la structure est déduite
d’un trait de silhouette (en vert) dessiné par l’utilisateur.
Les détails sont générés, dupliqués et passés en 3D
en utilisant des lois biologiques © Grenoble-INP, Inria, Cirad
Supposons maintenant que l’utilisateur veuille étirer son modèle, pour rendre cet arbre, disons, moitié plus haut : ici, le geste intuitif associé consiste probablement en un geste d’écartement de deux doigts posés sur l’arbre, dans la direction verticale, comme pour zoomer sur un texte. Un tel geste peut facilement être reconnu et associé à un étirement. Cependant, si des représentations graphiques classiques sont utilisées, chaque branche de l’arbre va alors s’épaissir verticalement, et les feuilles qu’elles portent vont s’étirer dans la même direction, rendant l’ensemble totalement irréaliste… Est-ce que l’utilisateur ne s’attendrait pas plutôt à ce que le tronc s’étire, mais à ce que les branches qui en partent se dupliquent et que de nouvelles sous-branches et feuilles similaires aux précédentes y soient placées ? Comme le montre cet exemple, l’incorporation de connaissances a priori (comme le fait que certains éléments répétitifs doivent être dupliqués et non étirés) est indispensable à la conception de modèles graphiques répondant de manière intuitive aux gestes de création.
Conclusion
La modélisation expressive est un nouveau courant de recherche en informatique graphique, visant à faire du média numérique un support de création 3D accessible à tous, et permettant aussi bien de façonner des formes isolées pouvant être imprimées, que de concevoir et animer en quelques gestes des mondes virtuels complexes. De nombreux défis restent à relever pour atteindre ces objectifs. Parmi eux, l’extension des méthodes proposées à des assemblages de formes animées, combinant contrôle des mouvements par l’utilisateur et réalisme visuel, n’est pas la moindre des difficultés.
Le support idéal, permettant d’observer des objets à peine entrevus mentalement, d’ébaucher leur mouvement avant même que les formes ne soient vraiment précises, puis de raffiner progressivement ces contenus jusqu’à une œuvre aboutie, n’existe pas encore. Mais les avancées actuelles permettent d’énoncer un certain nombre de principes qui permettront d’atteindre ce but, comme l’alchimie créée par l’injection de connaissances dans les modèles, mariée à des gestes de création intuitifs. Comme dans le monde réel, tout l’art consiste à cacher à l’utilisateur la complexité de ce qu’il manipule : déchargé des tâches répétitives et de la gestion de contraintes difficiles à maintenir, l’être humain augmenté par l’outil numérique pourra lâcher plus largement la bride à son imagination. Les progrès sont rapides, et tout laisse présager que cette révolution de la création numérique changera durablement l’activité humaine.
Marie-Paule Cani, Professeure à Grenoble INP
Dominik Abbas, © Dominik Abbas
