Hugging Face Bild-zu-Video: Modelle, Spaces und lokale Inferenz

Hugging Face Bild-zu-Video bezieht sich auf die Nutzung von Modellen, die auf huggingface.co unter dem Pipeline-Tag image-to-video gehostet werden, um ein statisches Bild in einen kurzen animierten Clip umzuwandeln. Sie interagieren mit ihnen auf drei Arten: durch Klicken auf Browser- Spaces Demos, über die Inference-API/Inference-Endpunkte oder indem Sie die Gewichte herunterladen und lokal mit der diffusers Python-Bibliothek ausführen. Im Folgenden erfahren Sie, was tatsächlich funktioniert – je nach Modell und Plattform.

Was das unter dem Pipeline-Tag Tag tatsächlich abdeckt

Das Pipeline-Tag filtert die Hub nach Modellen, deren vorgesehene Eingabe ein einzelnes Bild (optional ergänzt durch eine Text-Prompt) ist und deren Ausgabe ein kurzes Video darstellt – typischerweise 2–6 Sekunden bei 16–24 fps. Zum Zeitpunkt der Erstellung sind die aktivsten Open-Weights-Modellfamilien:

Modell	Autor	Typische Ausgabe	Gewichtslizenz
Wan 2.2 I2V-A14B	Alibaba (Wan-AI)	720p, 5 Sekunden, 24 fps	Apache 2.0
Wan 2.1 I2V-14B / I2V-1.3B	Alibaba (Wan-AI)	480p–720p, ca. 5 Sekunden	Apache 2.0
Stable Video Diffusion (SVD)	Stability AI	576×1024, 14 Frames	SVD nicht-kommerziell / kommerziell über Stability
SVD-XT	Stability AI	576×1024, 25 Frames	Identisch mit SVD
LTX-Video	Lightricks	768×512, ca. 5 Sekunden bei 24 fps	OpenRAIL-M-Variante
CogVideoX-5B-I2V	THUDM	720×480, 6 Sekunden bei 8 fps	Apache-2.0-Lizenz (Code), benutzerdefinierte Lizenz (Gewichte)
unter dem Pipeline-Tag	Bantikumar (Community)	Kleiner Demo-Checkpoint	Siehe Modellkarte

Überprüfen Sie stets Auflösung, Bildanzahl und Lizenz direkt auf der Modellkarte – die Autoren aktualisieren diese regelmäßig. Die Wan-2.2-Karte finden Sie unter huggingface.co/Wan-AI/Wan2.2-I2V-A14B, SVD-XT unter huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt, und LTX-Video unter huggingface.co/Lightricks/LTX-Video.

Drei Möglichkeiten, Hugging Face Bild-zu-Video auszuführen

1. Spaces (keine Installation erforderlich, läuft ausschließlich im Browser)

Jedes bedeutende I2V-Modell verfügt über mindestens einen Community-Space. Besuchen Sie huggingface.co/spaces, suchen Sie nach dem Modellnamen (z. B. „Wan 2.2 I2V“ oder „LTX-Video“), laden Sie ein Bild hoch, geben Sie optional eine Prompt ein und klicken Sie auf Generieren. Kostenlose Spaces laufen auf gemeinsam genutzten ZeroGPU-Instanzen (H200-Slices) mit einem täglichen Kontingent pro Nutzer; ist der Space ausgelastet, müssen Sie in der Warteschlange warten. Für Produktionsumgebungen duplizieren Sie den Space und binden kostenpflichtige Hardware über die Space-Einstellungen ein.

2. Inference-API und Inference-Endpoints

Die serverlose Inference-API unterstützt einige I2V-Modelle direkt; für andere stellen Sie einen dedizierten Inference-Endpoint auf einer A10G-, L4-, L40S-, A100- oder H100-GPU bereit. Endpoints werden pro Stunde GPU-Laufzeit abgerechnet – ein dauerhaft aktiver Endpoint kostet daher monatlich viel Geld; ein 24/7-A100-80-GB-Endpoint beläuft sich typischerweise auf mehrere Tausend Dollar pro Monat. Vergleichen Sie die Kosten mithilfe der Selbsthosting vs. API-Rechner mit sekundengenauen Video-APIs.

3. Lokale Inferenz mit diffusers

Der Referenzclient ist die Hugging-Face-Bibliothek diffusers . Installation:

pip install --upgrade diffusers transformers accelerate torch imageio imageio-ffmpeg

Minimalbeispiel für SVD-XT (aus der Modellkarte):

import torch
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video

pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    torch_dtype=torch.float16, variant="fp16"
)
pipe.enable_model_cpu_offload()

image = load_image("input.png").resize((1024, 576))
frames = pipe(image, decode_chunk_size=8, num_frames=25).frames[0]
export_to_video(frames, "out.mp4", fps=7)

Für Wan 2.2 verwenden Sie WanImageToVideoPipeline; für LTX-Video verwenden Sie LTXImageToVideoPipeline. Prüfen Sie auf der Modellkarte den exakten Klassennamen – diffusers führt mit jeder Veröffentlichung neue Pipelines ein.

VRAM und Hardware – ehrlich gesagt

I2V ist rechenintensiver als Bildgenerierung, da Sie gleichzeitig mehrere Frames eines zeitlichen Latents entrauschen müssen. Modellkarten und das diffusers-Repository nennen ungefähre VRAM-Anforderungen:

Modell	Native VRAM (fp16)	Mit CPU-Offload / Quantisierung
SVD / SVD-XT (576×1024)	ca. 16–20 GB	ca. 8–10 GB mit enable_model_cpu_offload()
LTX-Video	ca. 12–24 GB je nach Videolänge	Läuft auf 12-GB-Karten mit Offload
Wan 2.1 I2V-1.3B	ca. 8–12 GB	Läuft auf einer RTX 3060 mit 12 GB
Wan 2.2 I2V-A14B (720p)	ab ca. 24 GB	Passt mit fp8/GGUF-Community-Forks auf 16 GB
CogVideoX-5B-I2V	ca. 18–24 GB	ca. 5 GB mit vollständigem Offload (gemäß THUDM-Karte)

Die Werte variieren je nach Auflösung und Bildanzahl. Für einen allgemeinen Überblick zur GPU-Speicher-Skalierung siehe die Übersicht zu den VRAM-Rechner und besten GPUs für lokale Modelle – dieselben Grafikkarten (RTX 3090, 4090, 5090, A6000) eignen sich auch hervorragend für Video-Workloads.

Windows

Installieren Sie Python 3.10 oder 3.11 von python.org sowie die CUDA-Version von PyTorch von pytorch.org/get-started/locally passend zu Ihrem NVIDIA-Treiber. Erstellen Sie eine virtuelle Umgebung, pip install diffusers transformers accelerate, und legen Sie HF_HOME auf ein Laufwerk mit mindestens 50 GB freiem Speicherplatz ab – die Gewichte für Wan und CogVideoX sind sehr groß. Unter Windows wird ROCm nicht unterstützt; AMD-Nutzer sollten stattdessen WSL2 oder Linux verwenden. Für eine benutzerfreundlichere Oberfläche bietet ComfyUI native Workflows für SVD, Wan und LTX-Video.

macOS

Apple Silicon (M1–M4) führt diffusers über MPS aus. Installieren Sie PyTorch mit MPS-Unterstützung und übergeben Sie dann torch_dtype=torch.float16 und .to("mps"). Realistisch gesehen erzeugt SVD auf einem M2 Max innerhalb weniger Minuten einen 25-Bild-Film; Wan 2.2 A14B ist auf Systemen mit weniger als 64 GB einheitlichem Arbeitsspeicher praktisch nicht nutzbar. LTX-Video ist derzeit das am besten verwendbare I2V-Modell für Macs, da es mit deutlich weniger Sampling-Schritten auskommt. Intel-Macs bieten keinen funktionierenden GPU-Pfad – verwenden Sie stattdessen eine gehostete API.

Linux

Linux ist die primäre Zielplattform. Installieren Sie den NVIDIA-Treiber und die CUDA-12.x-Laufzeitumgebung (in den PyTorch-Installationen enthalten), anschließend pip install diffusers transformers accelerate. Für Multi-GPU-Konfigurationen oder lange Clips empfiehlt sich accelerate config und pipe.enable_sequential_cpu_offload(). xformers und torch.compile() beschleunigen SVD und Wan auf Ampere-/Ada-/Hopper-GPUs deutlich.

Wann Sie Hugging Face besser überspringen und stattdessen eine gehostete Video-API nutzen sollten

Wenn Sie lediglich einen kurzen Clip pro Tag benötigen, reicht ein Hugging Face Space oder eine lokale RTX-Grafikkarte aus. Für zuverlässige Durchsatzleistung sind gehostete APIs pro Sekunde in der Regel kostengünstiger als die Belegung eines ungenutzten A100-/H100-Endpunkts:

• Wan 2.5 — ab 0,05 $ pro Sekunde (aus derselben Modellfamilie wie die offenen Wan-Gewichte auf dem Hub)
• Sora 2 — ab 0,05 $ pro Sekunde; Sora 2 Pro ab 0,15 $ pro Sekunde
• Veo 3.1 — ab 0,05 $ pro Sekunde
• Kling 2.5 Turbo Pro — ab 0,07 $ pro Sekunde

Bei 0,05 $ pro Sekunde kosten 1.000 Fünfsekunden-Clips 250 $; die Miete eines H100 bei typischen Cloud-Preisen für denselben Durchsatz ist meist teurer. Nutzen Sie den API-Kostenrechner und durchsuchen Sie den Modelldatenbank für aktuelle Preise.

Häufig gestellte Fragen

Gibt es ein einzelnes „Hugging Face Image-to-Video“-Modell, auf das ich standardmäßig zurückgreifen sollte?

Es gibt keinen einzigen Standard. Für Open-Weights-Modelle mit permissiver Lizenzierung erzeugt Wan 2.2 I2V-A14B derzeit die beste 720p-Ausgabe, benötigt aber 24 GB oder mehr VRAM. Auf Grafikkarten mit 12 GB VRAM sind LTX-Video oder Wan 2.1 I2V-1.3B die praktikablen Alternativen. SVD-XT ist älter, aber sehr gut dokumentiert.

Darf ich diese Modelle kommerziell nutzen?

Das hängt vom jeweiligen Checkpoint ab. Wan 2.1/2.2, der CogVideoX-Code sowie LTX-Video unterliegen permissiven Lizenzen, doch jede dieser Lösungen hat eigene Nutzungsbedingungen; die Gewichte von Stable Video Diffusion werden unter einer Stability-Community-Lizenz ausgeliefert, die zusätzlich eine kommerzielle Lizenzstufe vorsieht. Lesen Sie stets den Abschnitt „License“ auf der Modellkarte, bevor Sie etwas produktiv einsetzen.

Warum flackert meine Ausgabe oder sieht wie eine Diashow aus?

Meist liegt das Problem darin, dass zu wenige Inferenzschritte gewählt wurden (erhöhen Sie num_inference_steps), motion_bucket_id/guidance_scale für SVD zu niedrig eingestellt ist oder das Eingabebild ein Seitenverhältnis aufweist, das nicht mit der Trainingsauflösung des Modells übereinstimmt. Passen Sie die Auflösung des Eingabebilds an die native Modellauflösung an (z. B. 1024×576 für SVD-XT), bevor Sie generieren.

Kann ich Bild-zu-Video auf einem Laptop mit 8 GB VRAM ausführen?

Nur mit den kleinsten Modellen und aggressivem Offloading. Wan 2.1 I2V-1.3B sowie quantisierte LTX-Video-Builds lassen sich ausführen, doch rechnen Sie mit mehreren Minuten pro Clip. Für größere Modelle sind gehostete APIs oder Spaces schneller und kostengünstiger, als gegen OOM-Fehler anzukämpfen.

Unterstützt Ollama Bild-zu-Video?

Nein. Ollama konzentriert sich auf Text- und multimodale Sprachmodelle (LLMs), nicht auf Diffusions-Video-Pipelines. Weitere Informationen finden Sie im Ollama-Leitfaden zu den unterstützten Funktionen; für I2V verwenden Sie stattdessen diffusers oder ComfyUI.

Wie lange dauert ein einzelner Clip auf einer Consumer-GPU?

Größenordnungsmäßig erzeugt SVD-XT auf einer RTX 4090 bei Standardeinstellungen einen 25-Bild-Film deutlich unter einer Minute; dasselbe Modell mit enable_model_cpu_offload() auf einer 12-GB-Karte ist mehrere Male langsamer. Wan 2.2 A14B in 720p ist deutlich rechenintensiver. Konkrete Laufzeiten hängen von der Anzahl der Sampling-Schritte, der Auflösung und der PyTorch-Version ab – betrachten Sie daher jede einzelne Benchmark als grobe Orientierung.