Text-Generierungs-Webinterface (Oobabooga): Installations-, Lade- und Anwendungsanleitung

text-generation-webui ist eine quelloffene, selbstgehostete Web-Oberfläche zum lokalen Ausführen großer Sprachmodelle. Auf GitHub unter dem Namen oobabooga/text-generation-webuigepflegt, läuft sie in Ihrem Browser unter http://localhost:7860, unterstützt eine breite Palette von Modellformaten über austauschbare Inferenz-Backends und stellt eine OpenAI-kompatible REST-API bereit. Es handelt sich um die funktionsreichste lokales LLM Frontend-Lösung, allerdings mit einer steileren Einstiegskurve als Desktop-Anwendungen wie LM Studio.

Was text-generation-webui ist (und warum es oft einfach ‚Oobabooga‘ genannt wird)

Der GitHub-Benutzername des Projekts lautet oobabooga, der sich mittlerweile als gängige Kurzbezeichnung für das Tool etabliert hat. Beide Namen beziehen sich auf dasselbe Projekt unter github.com/oobabooga/text-generation-webui.

Die Oberfläche basiert auf Gradio und läuft vollständig lokal auf Ihrem Rechner – Ihre Daten verlassen niemals Ihr System. Neben der grundlegenden Chat-Funktion bietet sie Folgendes:

• Drei Eingabemodi: Chat (Instruct), Chat (Roleplay mit Charakterkarten) und Notebook (reine Textergänzung)
• Laden von LoRA-Adaptern zur Anwendung feinjustierter Gewichte auf einem Basis-Modell
• Ein Erweiterungssystem mit Community-Plugins für Zusammenfassungen, Sprachsynthese, Bildunterschriften und vieles mehr
• Einen OpenAI-kompatiblen API-Endpunkt zum Verbinden externer Clients und Automatisierungsskripte

Bevor Sie ein Modell auswählen, nutzen Sie bitte den VRAM-Rechner , um sicherzustellen, dass Ihr GPU-Speicher ausreicht – die Anforderungen variieren stark je nach Modellgröße und Quantisierungsstufe.

Installation von text-generation-webui

Der empfohlene Installationsweg auf allen Plattformen ist das Ein-Klick-Installations-Skript. Es erstellt eine isolierte Conda-Umgebung und installiert automatisch sämtliche Python-Abhängigkeiten. Installieren Sie nicht in Ihre System-Python-Umgebung, es sei denn, Sie haben einen speziellen Grund dafür.

Windows

1. Klonen Sie das Repository oder laden Sie ein Release-ZIP von der GitHub-Seite herunter:
   git clone https://github.com/oobabooga/text-generation-webui
2. Doppelklicken Sie auf start_windows.bat im geklonten Ordner aus.
3. Das Skript erkennt Ihren GPU-Typ (NVIDIA, AMD oder CPU-only) und installiert passende Abhängigkeiten – wählen Sie bei der Aufforderung die entsprechende Option.
4. Nach Abschluss der Installation startet der Server automatisch. Öffnen Sie http://localhost:7860 in Ihrem Browser.

Bei zukünftigen Starts klicken Sie einfach erneut doppelt auf start_windows.bat . Die Conda-Umgebung ist bereits eingerichtet; der Start dauert nur wenige Sekunden.

Linux

1. Klonen Sie das Repository und wechseln Sie in das Verzeichnis:

   git clone https://github.com/oobabooga/text-generation-webui
   cd text-generation-webui

2. Machen Sie das Skript ausführbar und führen Sie es aus:

   chmod +x start_linux.sh
   ./start_linux.sh

3. Wählen Sie bei der Aufforderung Ihren GPU-Typ: NVIDIA, AMD, CPU-only oder Apple Silicon (auf Linux nicht anwendbar, erscheint aber trotzdem in der Abfrage).
4. Rufen Sie die Benutzeroberfläche unter http://localhost:7860 auf, sobald der Server läuft.

macOS

1. Klonen Sie das Repository und führen Sie das Startskript aus:

   git clone https://github.com/oobabooga/text-generation-webui
   cd text-generation-webui
   ./start_macos.sh

2. Wählen Sie bei der Aufforderung Option D (Apple Silicon / Metal) oder C (CPU-only).
3. Das llama.cpp-Backend nutzt Metal für GPU-Beschleunigung auf M-Serie-Chips – CUDA ist nicht erforderlich.

macOS-Nutzer sind auf die Loader llama.cpp und Transformers beschränkt. ExLlamaV2 benötigt CUDA und läuft nicht auf Apple Silicon.

Modell-Loader: Welchen soll ich verwenden?

text-generation-webui trennt die Inferenz-Engine von der Benutzeroberfläche. Sie wählen pro Modell einen Loader über den Reiter Modell aus. Jeder Loader akzeptiert bestimmte Dateiformate und stellt unterschiedliche Hardware-Anforderungen.

Praktischer Standard: Wenn Sie eine .gguf -Datei heruntergeladen haben (das gängigste Format auf Hugging-Face-Modellseiten), verwenden Sie llama.cpp. Falls Sie eine NVIDIA-GPU besitzen und maximale Generierungsgeschwindigkeit wünschen, suchen Sie nach einer EXL2-Variante desselben Modells und verwenden Sie ExLlamaV2.

Für eine Übersicht darüber, welche Modelle realistisch auf welchen GPUs laufen, siehe VRAM-Anforderungen gängiger Sprachmodelle (LLMs).

Schritt-für-Schritt-Anleitung zum Laden eines GGUF-Modells

1. Kopieren Sie die Datei in den Ordner text-generation-webui/models/. Einzel-Datei-GGUFs (z. B. mistral-7b-instruct.Q4_K_M.gguf) werden direkt in diesen Ordner platziert. Mehrteilige, aufgeteilte Dateien gehören in einen benannten Unterordner.
2. Öffnen Sie die Registerkarte „Modell“ auf http://localhost:7860.
3. Wählen Sie Ihre Datei aus der Modell-Auswahlliste (klicken Sie auf das Aktualisierungssymbol, falls sie nicht angezeigt wird).
4. Legen Sie Loader auf llama.cpp.
5. Legen Sie n-gpu-layers zur Steuerung des GPU-Offloadings. Geben Sie eine große Zahl ein (z. B. 999), um möglichst viele Layer in den VRAM zu laden; geben Sie 0 für reine CPU-Inferenz an.
6. Klicken Laden. Sobald das Modell bereit ist, erscheint eine Bestätigungsmeldung im Statusfeld.

Wechseln Sie zur Registerkarte Chat um eine Unterhaltung zu beginnen, oder zur Registerkarte Standard Prompt Anleitungsvorlage in der Registerkarte „Parameter“ auswählen.

Die OpenAI-kompatible API-Erweiterung

Die integrierte openai Erweiterung stellt REST-Endpunkte bereit, die dem OpenAI-Chat-Completions- und Completions-API-Format entsprechen. Jeder Client, der eine benutzerdefinierte Basis-URL akzeptiert – etwa LangChain, Open WebUI, Continue.dev oder ein einfaches curl Skript – kann ohne Codeänderungen mit Ihrem lokalen Modell verbunden werden.

Aktivieren Sie sie durch Übergabe eines Flags beim Start:

# Linux / macOS
./start_linux.sh --extensions openai

# oder starten Sie server.py direkt innerhalb der Conda-Umgebung
python server.py --extensions openai

Alternativ aktivieren Sie sie über die Registerkarte Sitzung in der Benutzeroberfläche und klicken dann auf Flags anwenden / Neustarten.

Standardmäßig lauscht die API auf Port 5000, getrennt von der Gradio-Benutzeroberfläche auf Port 7860. Richten Sie Ihren Client auf:

base_url = "http://localhost:5000/v1"
api_key  = "beliebig"  # von den meisten Clients erforderlich, aber lokal nicht validiert

Unterstützte Endpunkte umfassen /v1/chat/completions, /v1/completions, und /v1/models. Der Port ist über das Startflag --api-port konfigurierbar.

text-generation-webui im Vergleich zu LM Studio und Jan

Alle drei Tools führen Modelle lokal ohne Cloud-Abhängigkeiten aus. Sie richten sich an unterschiedliche Nutzergruppen und Anwendungsfälle.

Wählen Sie text-generation-webui wenn Sie mehrere Loader-Backends benötigen, EXL2-Leistung auf NVIDIA-GPUs, LoRA-Laden, das umfangreiche Erweiterungsökosystem oder skriptbasierten API-Zugriff für Automatisierung und Entwicklungs-Workflows.

Wählen Sie LM Studio oder Jan wenn Sie einen professionell gestalteten Installer, integrierte Modellsuche mit Ein-Klick-Downloads und eine möglichst einfache Konfiguration bevorzugen. Weitere Details finden Sie im LM Studio – umfassende Anleitung für eine schrittweise Anleitung zu dieser Option.

Falls Sie abwägen, ob lokale Inferenz die Hardwarekosten überhaupt rechtfertigt, kann der Selbsthosting- versus-API-Kosten-Grenzwert-Rechner die Kosten-Nutzen-Relation gegenüber einer API-Nutzung bei Ihrem erwarteten Nutzungsvolumen quantifizieren.

Häufig gestellte Fragen

Warum dauert der Ein-Klick-Installer beim ersten Start so lange?

Er lädt Miniconda herunter und erstellt eine isolierte Python-Umgebung mit PyTorch sowie sämtlichen Bibliotheken zum Laden von Modellen – vollständig neu. Bei einer schnellen Internetverbindung dauert dies typischerweise 5–15 Minuten. Bei nachfolgenden Starts wird dieser Schritt übersprungen, und die Anwendung startet innerhalb weniger Sekunden.

Kann ich text-generation-webui ohne GPU ausführen?

Ja. Wählen Sie während der Installation die CPU-only-Option, und legen Sie dann n-gpu-layers auf 0 fest, wenn Sie ein GGUF-Modell laden. Ein 7B-Modell erzeugt auf einer modernen Desktop-CPU etwa 2–5 Tokens pro Sekunde – ausreichend für Tests, aber zu langsam für flüssige Gespräche. Kleinere Quantisierungen (Q4 und darunter) verbessern die Durchsatzrate. Weitere Informationen zur Hardware-Auswahl finden Sie unter beste GPUs für lokale LLMs .

Wie aktualisiere ich text-generation-webui?

Ausführen git pull im Repository-Verzeichnis, um den neuesten Quellcode abzurufen, und führen Sie anschließend das Startskript erneut aus. Das Skript erkennt Umgebungsänderungen und aktualisiert Abhängigkeiten automatisch. Alternativ können Sie auch manuell pip install -r requirements.txt innerhalb der aktiven Conda-Umgebung ausführen, falls Sie eine gezielte Aktualisierung bevorzugen.

Was ist der Unterschied zwischen GGUF und EXL2?

Beide sind quantisierte Formate, die die Modell-Dateigröße und den VRAM-Bedarf reduzieren. GGUF (über llama.cpp) läuft auf NVIDIA-, AMD- und Apple-Silicon-GPUs – es ist die portabelste Wahl mit der breitesten Modellverfügbarkeit. EXL2 (über ExLlamaV2) ist ausschließlich für NVIDIA-GPUs optimiert, erzeugt jedoch bei vergleichbarer Qualität in der Regel schneller Tokens. Falls Sie über eine NVIDIA-GPU verfügen und Geschwindigkeit oberste Priorität hat, lohnt sich die Beschaffung eines EXL2-Modells.

Wo werden Gesprächsprotokolle gespeichert?

Die Protokolle werden im Verzeichnis text-generation-webui/logs/gespeichert. Jedes Gespräch wird als JSON-Datei abgelegt. Außerdem können Sie Protokolle direkt über die Download-Schaltfläche unterhalb des Chat-Fensters im Chat-Tab exportieren.

Können mehrere Benutzer gleichzeitig mit einer Instanz verbunden sein?

Der --listen Mit diesem Startflag wird der Server im lokalen Netzwerk statt nur auf localhost zugänglich gemacht. text-generation-webui ist jedoch nicht für Multi-User-Produktionseinsätze konzipiert – es gibt keine integrierte Authentifizierung, und die Gradio-Oberfläche unterstützt nur eine Sitzung gleichzeitig. Die OpenAI-API-Erweiterung verarbeitet parallele API-Anfragen in Multi-Client-Szenarien besser als die Web-Oberfläche; falls Sie den Zugriff jedoch über localhost hinaus freigeben möchten, sollten Sie unbedingt einen Reverse-Proxy mit Authentifizierung davor schalten.