Hugging Face Image to Video : modèles, espaces et inférence locale

Image vers vidéo sur Hugging Face fait référence à l'utilisation de modèles hébergés sur huggingface.co selon le image-to-video pipeline tag pour transformer une image statique en court clip animé. Vous interagissez avec eux de trois façons : des Spaces démos interactives dans le navigateur, l' Inference APIou les Inference Endpoints, ou en téléchargeant les poids et en les exécutant localement avec la diffusers bibliothèque Python. Ci-dessous, ce qui fonctionne réellement, par modèle, par plateforme.

Ce que le image-to-video tag couvre réellement

Le pipeline tag filtre le Hub pour les modèles dont l'entrée prévue est une image (optionnellement plus une invite de texte) et dont la sortie est une courte vidéo, généralement de 2 à 6 secondes à 16–24 fps. Au moment de la rédaction, les familles de poids ouverts les plus actives sont :

Modèle	Auteur	Sortie typique	Licence des poids
Wan 2.2 I2V-A14B	Alibaba (Wan-AI)	720p, 5s, 24 fps	Apache 2.0
Wan 2.1 I2V-14B / I2V-1.3B	Alibaba (Wan-AI)	480p–720p, ~5s	Apache 2.0
Stable Video Diffusion (SVD)	Stability AI	576×1024, 14 images	SVD non-commercial / commercial via Stability
SVD-XT	Stability AI	576×1024, 25 images	Identique à SVD
LTX-Video	Lightricks	768×512, ~5s à 24 fps	Variante OpenRAIL-M
CogVideoX-5B-I2V	THUDM	720×480, 6s à 8 fps	Apache 2.0 (code), personnalisée (poids)
image-to-video	Bantikumar (communauté)	Petit checkpoint de démonstration	Voir la fiche du modèle

Confirmez toujours la résolution, le nombre d'images et la licence sur la fiche du modèle lui-même — les auteurs les mettent à jour. La fiche Wan 2.2 se trouve à huggingface.co/Wan-AI/Wan2.2-I2V-A14B, SVD-XT à huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt, et LTX-Video à huggingface.co/Lightricks/LTX-Video.

Trois façons d'exécuter la conversion image vers vidéo Hugging Face

1. Spaces (pas d'installation, navigateur uniquement)

Chaque modèle I2V majeur dispose d'un ou plusieurs Spaces communautaires. Accédez à huggingface.co/spaces, recherchez le nom du modèle (par ex. « Wan 2.2 I2V » ou « LTX-Video »), téléchargez une image, tapez une invite optionnelle, cliquez Générer. Les Spaces gratuits s'exécutent sur ZeroGPU partagé (tranches H200) avec un quota quotidien par utilisateur ; si le Space est occupé, vous serez mis en file d'attente. Pour la production, dupliquez le Space et attachez du matériel payant depuis les paramètres du Space.

2. Inference API et Inference Endpoints

L' Inference API serverless supporte certains modèles I2V directement ; pour les autres, vous déployez un Inference Endpoint dédié sur un A10G, L4, L40S, A100 ou H100. Les Endpoints sont facturés à l'heure de GPU utilisée, donc laisser un endpoint actif pendant un mois est coûteux ; un endpoint 24/7 A100-80GB coûte généralement plusieurs milliers de dollars par mois. Utilisez le calculatrice auto-hébergement vs API pour comparer avec les APIs vidéo à la seconde.

3. Inférence locale avec diffusers

Le client de référence est Hugging Face diffusers bibliothèque. Installez :

pip install --upgrade diffusers transformers accelerate torch imageio imageio-ffmpeg

Exemple minimal SVD-XT (à partir de la carte modèle) :

import torch
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video

pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    torch_dtype=torch.float16, variant="fp16"
)
pipe.enable_model_cpu_offload()

image = load_image("input.png").resize((1024, 576))
frames = pipe(image, decode_chunk_size=8, num_frames=25).frames[0]
export_to_video(frames, "out.mp4", fps=7)

Pour Wan 2.2 utilisez WanImageToVideoPipeline; pour LTX-Video utilisez LTXImageToVideoPipeline. Consultez la carte modèle pour le nom exact de la classe — diffusers ajoute de nouveaux pipelines à chaque version.

VRAM et matériel, honnêtement

I2V est plus gourmande que la génération d'images car vous débruitez de nombreuses images d'une latence temporelle à la fois. Les cartes modèle et le dépôt diffusers rapportent approximativement :

Modèle	VRAM natif (fp16)	Avec CPU offload / quantification
SVD / SVD-XT (576×1024)	~16–20 GB	~8–10 GB avec enable_model_cpu_offload()
LTX-Video	~12–24 GB selon la longueur	Fonctionne sur des cartes 12 GB avec offload
Wan 2.1 I2V-1.3B	~8–12 GB	Fonctionne sur une 3060 12 GB
Wan 2.2 I2V-A14B (720p)	~24 GB+	S'adapte à 16 GB avec fp8/GGUF variantes communautaires
CogVideoX-5B-I2V	~18–24 Go	~5 GB avec offload complet (selon la carte THUDM)

Les chiffres varient selon la résolution et le nombre d'images. Pour une vue générale de la mise à l'échelle de la mémoire GPU, consultez le calculatrice VRAM et meilleurs GPUs pour les modèles locaux — les mêmes cartes (RTX 3090, 4090, 5090, A6000) sont aussi le point idéal pour la vidéo.

Windows

Installez Python 3.10 ou 3.11 à partir de python.org, puis la version CUDA de PyTorch à partir de pytorch.org/get-started/locally correspondant à votre pilote NVIDIA. Créez un venv, pip install diffusers transformers accelerate, et définissez HF_HOME sur un disque disposant d’au moins 50 Go d’espace libre — les poids de Wan et de CogVideoX sont volumineux. Windows ne prend pas en charge ROCm ; les utilisateurs AMD doivent utiliser WSL2 ou Linux. Pour une interface utilisateur plus conviviale, ComfyUI propose des workflows natifs pour SVD, Wan et LTX-Video.

macOS

Les puces Apple Silicon (M1 à M4) exécutent diffusers via MPS. Installez PyTorch avec le support MPS, puis précisez torch_dtype=torch.float16 et .to("mps"). En pratique, SVD génère une séquence vidéo de 25 images sur un M2 Max en plusieurs minutes ; Wan 2.2 A14B est peu réaliste sur tout système disposant de moins de 64 Go de mémoire unifiée. LTX-Video est actuellement le modèle I2V le plus utilisable sur Mac, grâce à son nombre réduit d’étapes d’inférence. Les Mac Intel ne disposent d’aucun chemin fonctionnel exploitant le GPU — utilisez plutôt une API hébergée.

Linux

Linux est la plateforme principale ciblée. Installez le pilote NVIDIA et le runtime CUDA 12.x (intégré aux wheels PyTorch), puis pip install diffusers transformers accelerate. Pour l’inférence multi-GPU ou pour générer des séquences longues, utilisez accelerate config et pipe.enable_sequential_cpu_offload(). xformers et torch.compile() permettent d’obtenir des gains de vitesse importants pour SVD et Wan sur les cartes graphiques Ampere/Ada/Hopper.

Quand ignorer Hugging Face et utiliser une API vidéo hébergée

Si vous avez besoin d’un seul court extrait par jour, un espace Hugging Face ou une carte RTX locale conviennent parfaitement. Si vous exigez un débit fiable, les API hébergées facturées à la seconde sont généralement moins coûteuses que de louer un point de terminaison A100/H100 inactif :

• Wan 2.5 — à partir de 0,05 $/seconde (même lignée que les poids ouverts de Wan disponibles sur le Hub),
• Sora 2 — à partir de 0,05 $/seconde ; Sora 2 Pro à partir de 0,15 $/seconde
• Veo 3.1 — à partir de 0,05 $/seconde
• Kling 2.5 Turbo Pro — à partir de 0,07 $/seconde

À 0,05 $ la seconde, 1 000 extraits de cinq secondes coûtent 250 $. Louer un H100 aux tarifs habituels des fournisseurs cloud pour obtenir le même débit revient généralement plus cher. Utilisez le Calculateur de coûts d’API et parcourez le base de données de modèles pour connaître les tarifs en vigueur.

Questions fréquemment posées

Existe-t-il un seul modèle « image vers vidéo » sur Hugging Face auquel je devrais me référer par défaut ?

Aucun modèle par défaut unique. Pour les poids ouverts et les licences permissives, Wan 2.2 I2V-A14B produit actuellement les meilleures sorties en 720p, mais nécessite 24 Go de VRAM ou plus. Sur des cartes graphiques disposant de 12 Go de VRAM, LTX-Video ou Wan 2.1 I2V-1.3B constituent les choix pratiques. SVD-XT est plus ancien, mais très bien documenté.

Puis-je utiliser ces modèles à des fins commerciales ?

Cela dépend du checkpoint utilisé. Wan 2.1/2.2, le code de CogVideoX et LTX-Video sont distribués sous des licences permissives, mais chacun comporte ses propres conditions spécifiques ; les poids de Stable Video Diffusion sont fournis sous la licence communautaire Stability, qui prévoit un niveau commercial distinct. Lisez toujours attentivement la section « Licence » de la fiche modèle avant toute intégration commerciale.

Pourquoi ma sortie clignote-t-elle ou ressemble-t-elle à un diaporama ?

Généralement l’une des causes suivantes : trop peu d’étapes d’inférence (augmentez num_inference_steps), motion_bucket_id/guidance_scale trop faible pour SVD, ou une image d’entrée dont le format ne correspond pas à la résolution d’entraînement du modèle. Ajustez la résolution de l’image d’entrée à celle native du modèle (par exemple 1024 × 576 pour SVD-XT) avant de lancer la génération.

Puis-je exécuter l’image vers vidéo sur un ordinateur portable équipé de 8 Go de VRAM ?

Uniquement avec les modèles les plus légers et un déchargement (offloading) agressif. Wan 2.1 I2V-1.3B et les versions quantifiées de LTX-Video peuvent fonctionner, mais comptez plusieurs minutes par séquence vidéo. Pour tout modèle plus volumineux, une API hébergée ou un Space seront plus rapides et moins coûteux que de lutter contre des erreurs de mémoire insuffisante (OOM).

Ollama prend-il en charge l’image vers vidéo ?

Non. Ollama is focused on text and multimodal LLMs, not diffusion video pipelines. See the guide Ollama pour connaître sa couverture exacte ; pour l’I2V, privilégiez plutôt diffusers ou ComfyUI.

Combien de temps prend la génération d’une seule séquence vidéo sur une GPU grand public ?

Ordre de grandeur : SVD-XT sur une RTX 4090 produit un extrait vidéo de 25 images en nettement moins d’une minute avec les paramètres par défaut ; ce même modèle, exécuté avec enable_model_cpu_offload() sur une carte de 12 Go, est plusieurs fois plus lent. Wan 2.2 A14B en 720p est nettement plus gourmand. Les performances exactes dépendent du nombre d’étapes, de la résolution et de la version de PyTorch, donc considérez tout résultat de benchmark isolé comme approximatif.