Trellis : des modèles 3D à partir d'une IA générative

[Julien]

« A native 3D generative model built on a unified Structured Latent representation and Rectified Flow Transformers, enabling versatile and high-quality 3D asset creation »

C'est un modèle d'intelligence artificielle qui permet de générer des objets 3D à partir de simples descriptions textuelles ou d’image. 

https://trellis3d.github.io/

Pour tester : https://huggingface.co/spaces/JeffreyXiang/TRELLIS

 

[pjtlivjy]

salut @Julien en complément une petite info car les fichiers sont .GLB

on peut les importer sour Blender et les lire directement sous Sketchfab par exemple 

je vais aller essayer ça  merci pour le partage 

[pascal_lb]

J'ai vite fait un essai hier soir avec une photo de Grizzly (qui normalement est gris), mais comme tout est en anglais j'ai fait un peu au pif, avec le fichier GLB j'ai réussi à le convertir en STL mais le problème c'est que le pauvre Grizzly est creux

Voilà le résultat, c'est pas mal mais au niveau du museau c'est plutôt en "négatif"

Modifié (le) Février 27 par pascal_lb

[jcjames_13009]

il y a 14 minutes, pascal_lb a dit :

Voilà le résultat, c'est pas mal mais au niveau du museau c'est plutôt en "négatif"

C'est effectivement pas mal pour un modèle généré à partir d'une simple photo. Peut être que comme le museau est très foncé l'IA en a déduit que c'était une ombre et donc une partie creuse.

Modifié (le) Février 27 par jcjames_13009

[pjtlivjy]

en plus @jcjames_13009 il y a un modèle multi photos que je suis en train de regarder 

c'est assez incroyable cet algorithme

 

[pascal_lb]

il y a une heure, jcjames_13009 a dit :

Peut être que comme le museau est très foncé l'IA

Oui peut être, je crois qu'il y a aussi les moustaches qui l'ont un peu perturbé, il va falloir que je lui coupe les moustaches pour refaire un essai

[Kachidoki]

On est à deux doigts du rêve qui fera de l'impression 3D un outil utilisable par n'importe qui. Techniquement on y est déjà même, je m'explique.

• On sait écrire du texte en utilisant simplement notre parole
• On est capable de générer des images 2D par IA via un simple texte
• On est maintenant capable de générer des objets 3D par IA via des images 2D

Si je résume, il est possible de : Générer des objets 3D à partir d'images 2D elles-mêmes générées à partir d'un texte que l'on a dicté, le tout grâce à l'IA.

Reste un peu de travail de polishing pour arriver à : Alexa, imprime moi un mouton.

[pjtlivjy]

sur le principe ok @Kachidoki mais je trouve que généré ce qu'on a dans la tête en parole ou en texte c'est extrêmement complique et on le voit bien quand on soumet un script le résultat est parfois étonnant voir à milles lieues de ce que à quoi on pensait 

[gerardm]

Comment vont faire les bègues ?