Excellente question. En réalité, les générateurs vidéo modernes (Sora, Runway, Kling, Pika, Veo, etc.) utilisent un mélange de plusieurs techniques à la fois, et aucune des hypothèses que vous mentionnez n'est entièrement fausse.
On peut voir ça comme trois générations d'approches :
1. L'ancienne approche : interpolation de mouvement
C'est ce que plusieurs logiciels faisaient il y a quelques années.
À partir de deux images :
image A
image B
l'algorithme essayait de calculer le déplacement de chaque pixel entre les deux images (optical flow).
Image A ---> Image intermédiaire ---> Image BIl créait ainsi des images intermédiaires.
C'est encore utilisé aujourd'hui pour :
augmenter les FPS (30 → 60 fps)
ralentis fluides
stabilisation vidéo
Mais cette méthode seule ne permet pas vraiment de "faire vivre" une photo.
2. Décomposition en couches (ce que vous évoquez)
C'est effectivement une technique importante.
L'IA peut analyser une photo et estimer :
premier plan
personnage
objets
arrière-plan
profondeur de la scène
Elle construit alors une sorte de carte 3D approximative :
Caméra[Personne]||[Arbre]||[Montagne]
Ensuite :
la caméra virtuelle peut avancer
tourner
zoomer
sans que la photo originale contienne ces mouvements.
On parle souvent de :
depth map (carte de profondeur)
neural rendering
2.5D reconstruction
Beaucoup d'applications photo→vidéo utilisent ce principe.
3. La méthode moderne : génération prédictive
Les IA récentes fonctionnent davantage comme les grands modèles de langage.
Elles ont été entraînées sur des millions ou des milliards de vidéos.
Elles apprennent :
comment une personne marche
comment les cheveux bougent au vent
comment l'eau se comporte
comment l'éclairage évolue
comment une caméra se déplace
Lorsqu'on fournit une photo :
Photo + Prompt↓Réseau neuronal↓Séquence vidéo cohérente
L'IA ne déplace pas simplement les pixels.
Elle prédit :
"Si cette photo était une vidéo, quelles images auraient probablement suivi ?"
C'est très proche du mécanisme par lequel un LLM prédit le mot suivant.
4. Utilise-t-elle une banque d'images préexistantes ?
Contrairement à un mythe répandu : non, elle ne va généralement pas chercher directement des images dans une banque pour les recoller.
Durant l'entraînement :
elle observe d'immenses quantités d'images et vidéos ;
elle extrait des relations statistiques ;
ces connaissances sont compressées dans les poids du réseau neuronal.
On peut comparer ça à un peintre :
il a vu des milliers de couchers de soleil ;
lorsqu'il en peint un nouveau, il ne copie pas nécessairement une photo précise.
L'IA fonctionne davantage de cette façon.
5. Comment l'éclairage est-il créé ?
Les modèles récents reconstruisent implicitement une compréhension de la scène :
direction probable des sources lumineuses ;
ombres ;
réflexions ;
matériaux.
Par exemple, si une photo montre un visage éclairé de gauche :
☀ ---> visageet que la tête tourne dans la vidéo générée, l'IA tente de maintenir une cohérence lumineuse.
Elle ne calcule pas toujours la physique exacte comme un moteur 3D (Blender ou Unreal), mais elle a appris statistiquement à quoi cela devrait ressembler.
6. Ce qui se passe probablement dans un modèle comme Sora
Une simplification serait :
Photo↓Analyse de la profondeur↓Analyse des objets↓Compréhension de la scène↓Modèle génératif spatio-temporel↓Création des images suivantes↓Correction de cohérence↓Vidéo finale
Le modèle ne pense plus image par image, mais souvent comme un volume espace-temps :
X = largeurY = hauteurT = temps
Chaque pixel est lié à ses voisins dans l'espace et dans le temps.
Donc, pour répondre directement à votre question : les systèmes modernes utilisent simultanément l'interpolation de mouvement, l'estimation de profondeur et de calques, la compréhension statistique apprise sur d'immenses ensembles de vidéos, et parfois des représentations 3D implicites. La plus grande révolution récente n'est pas la décomposition en matrices ou en calques, mais le fait que l'IA a appris à prédire l'évolution complète d'une scène au fil du temps, un peu comme un LLM prédit la suite d'une phrase.
