Mirage : Révolution dans la génération vidéo de Microsoft
Mirage, développé par Microsoft Research, révolutionne la génération vidéo en utilisant une mémoire spatiale interne au lieu de mémoire basée sur les pixels. Cela permet de maintenir la structure spatiale d'une scène même lors de mouvements de caméra prolongés.
« Mirage's compute cost per frame barely moves after the first segment. » — The Decoder
Que faut-il retenir ?
- Mirage génère des vidéos en segments, en utilisant une mémoire spatiale qui se développe au fur et à mesure de la génération.
- Il est jusqu'à 10,57 fois plus rapide et nécessite jusqu'à 55 fois moins de mémoire que les systèmes basés sur la couleur.
- Le modèle a été construit sur le modèle vidéo open-source Wan2.2 d'Alibaba, avec des modules supplémentaires pour intégrer la nouvelle mémoire.
- Mirage excelle à maintenir la structure spatiale d'une scène et à garder les surfaces cohérentes à travers plusieurs images.
Pourquoi cette nouvelle compte-t-elle ?
Mirage représente une avancée majeure dans la génération vidéo, permettant aux développeurs de créer des simulations plus réalistes avec moins de ressources. Sa capacité à maintenir la cohérence spatiale est cruciale pour des applications dans des domaines comme les jeux vidéo et la réalité virtuelle. Cela pourrait transformer la manière dont les contenus vidéo sont produits et optimisés.
10,57 fois plus rapide et jusqu'à 55 fois moins de mémoire que les systèmes basés sur la couleur.
Public concerné : développeurs
Comment Mirage améliore-t-il la génération vidéo par rapport aux systèmes traditionnels ?
Mirage utilise une mémoire spatiale interne qui permet de générer des vidéos plus rapidement et avec moins de mémoire, tout en maintenant la cohérence des scènes, contrairement aux systèmes basés sur les pixels.
